Журнал: Naval Research Logistics

Аннотация на английском: Exponential smoothing has been one of the most popular forecasting methods used to support various decisions in organisations, in activities such as inventory management, scheduling, revenue management and other areas. Although its relative simplicity and transparency have made it very attractive for research and practice, identifying the underlying trend remains challenging with significant impact on the resulting accuracy. This has resulted in the development of various modifications of trend models, introducing a model selection problem. With the aim of addressing this problem, we propose the Complex Exponential Smoothing (CES), based on the theory of functions of complex variables. The basic CES approach involves only two parameters and does not require a model selection procedure. Despite these simplifications, CES proves to be competitive with, or even superior to existing methods. We show that CES has several advantages over conventional exponential smoothing models: it can model and forecast both stationary and non-stationary processes, and CES can capture both level and trend cases, as defined in the conventional exponential smoothing classification. CES is evaluated on several forecasting competition datasets, demonstrating better performance than established benchmarks. We conclude that CES has desirable features for time series modelling and opens new promising avenues for research.

Ссылка на черновую версию статьи.

DOI: 10.1002/nav.22074

История статьи на английском.

Идея Комплексного Экспоненциального Сглаживания

Одна из фундаментальных идей в прогнозировании — это декомпозиция временного ряда на несколько ненаблюдаемых компонент (описание этого процесса есть, например, «>в моей монографии). Обычно говорят, что временной ряд содержит компоненты уровня, тренда, сезонности, а так же ошибку. Это популярное разбиение на компоненты и используется, например, при построении ETS, внутри которой выбор подходящих компонент осуществляется на основе информационных критериев. Однако, не у всех временных рядов есть такое чёткое разделение на компоненты, да и само разделение можно считать условным. Например, ряд со слабым трендом на практике может быть не отличим от ряда с быстро меняющимся уровнем. Кроме того, в реальности всё немного сложнее, чем нам кажется и взаимодействие компонент может быть нелинейным.

Комплексное Экспоненциальное Сглаживание (КЭС) моделирует нелинейность во временных рядах и позволяет описывать структуру ряда по-другому. Вот как выглядит модель КЭС математически:
\begin{equation} \label{eq:cesalgebraic}
\hat{y}_{t} + i \hat{e}_{t} = (\alpha_0 + i\alpha_1)(y_{t-1} + i e_{t-1}) + (1 — \alpha_0 + i — i\alpha_1)(\hat{y}_{t-1} + i \hat{e}_{t-1}) ,
\end{equation}
где \(y_t\) — это фактическое значение, \(e_t\) — это ошибка прогноза, \(\hat{y}_t\) — прогнозируемое значение на шаг вперёд, \(\hat{e}_t\) — это прокси прошлых ошибок, \(\alpha_0\) и \(\alpha_1\) — это постоянные сглаживания, а \(i\) — это мнимая единица, число удовлетворяющее уравнению \(i^2=-1\). Из-за использования комплексных переменных, модель позволяет распределять веса во времени нелинейным образом. Это становится более понятно, если в правую часть уравнения \eqref{eq:cesalgebraic} включить само же уравнение, затем повторить это и получить:
\begin{equation} \label{eq:cesalgebraicExpanded}
\begin{aligned}
\hat{y}_{t} + i \hat{e}_{t} = & (\alpha_0 + i\alpha_1)(y_{t-1} + i e_{t-1}) + \\
& (\alpha_0 + i\alpha_1) (1 — \alpha_0 + i — i\alpha_1) (y_{t-2} + i e_{t-2}) + \\
& (\alpha_0 + i\alpha_1) (1 — \alpha_0 + i — i\alpha_1)^2 (y_{t-3} + i e_{t-3}) + \\
& … + \\
& (\alpha_0 + i\alpha_1) (1 — \alpha_0 + i — i\alpha_1)^{t-2} (y_{1} + i e_{1}) + \\
& (1 — \alpha_0 + i — i\alpha_1)^{t-1} (\hat{y}_{1} + i \hat{e}_{1}) .
\end{aligned}
\end{equation}
Возведение комплексного числа \((1 — \alpha_0 + i — i\alpha_1)\) в степень в формуле выше позволяет распределять веса между наблюдениями нелинейным образом. Графически это может быть представлено следующим образом (синяя линия — веса для фактических значений, зелёная — для прогнозных ошибок):

Распределение весов между наблюдениями на комплексной и действительной плоскостях. Синяя линия — веса для фактических значений, зелёная — для прогнозных ошибок.

В зависимости от значение комплексной постоянной сглаживания \(\alpha_0 + i\alpha_1\), распределение весов будет иметь разный вид. Но оно не обязательно должно быть гармоническим как на рисунке выше, оно может и убывать по классической экспоненте (как у простого экспоненциального сглаживания ака метода Брауна). Именно это гибкое распределение весов даёт КЭС особенную гибкость и позволяет ему быть эффективно применимым как к стационарным, так и нестационарным данным без переключения между компонентами временного ряда.

В опубликованной статье, мы также обсуждаем сезонную модификацию КЭС, которая позволяет моделировать как аддитивную, так и мультипликативную сезонность. Я не привожу формулы и детальное объяснение в данной статье, рекомендую всех заинтересованных обратиться к первоисточнику.

Пример в R

В R, КЭС реализовано в функции ces() пакета smooth. В том же пакете есть функция auto.ces(), позволяющая автоматически выбирать между не сезонными и сезонными моделями КЭС на основе информационных критериев. Синтакс функций похож на синтекс es() и adam(). Вот пример применения функции:

cesModel <- smooth::auto.ces(BJsales, holdout=TRUE, h=12)
cesModel

Time elapsed: 0.05 seconds
Model estimated: CES(n)
a0 + ia1: 1.9981+1.0034i
Initial values were produced using backcasting.

Loss function type: likelihood; Loss function value: 249.4613
Error standard deviation: 1.4914
Sample size: 138
Number of estimated parameters: 3
Number of degrees of freedom: 135
Information criteria:
     AIC     AICc      BIC     BICc 
504.9227 505.1018 513.7045 514.1457 

Forecast errors:
MPE: 0%; sCE: 0.7%; Asymmetry: -5%; MAPE: 0.4%
MASE: 0.857; sMAE: 0.4%; sMSE: 0%; rMAE: 0.329; rRMSE: 0.338

Описание выше уже как-то обсуждалось в одном из прошлых постов на примере функции es(). Главное отличие между тем, что возвращают функции es() и ces() - это параметры. В данном случае, мы видим, что комплексная постоянная сглаживания \(\alpha_0 + i\alpha_1 = 1.9981 + i 1.0034\). Полученную модель можно использовать в прогнозировании, например, так:

cesModel |> forecast(h=12, interval="p") |> plot()

что даст такой график:

Прогноз КЭС для ряда продаж из книги Box & Jenkins.

Сама функция ces() не изменилась с момента окончания мною PhD в 2016 году, так что результаты, например, вот этого сравнения всё ещё актуальны. Модель не обязательно даёт самые точные прогнозы во всех случаях, но как, например, было показано в статье Petropoulos & Svetunkov (2020), она привносит в комбинации то, чего не привносят другие модели. Всё из-за того, что КЭС позволяет хорошо вылавливать долгосрочные тенденции во временных рядах.

Послесловие

В качестве послесловия, я хотел бы выразить свои благодарности нескольким людям. Во-первых, это Никос Курентзес, который поверил в мою модель в далёком 2012 году и поддерживал меня все эти годы без колебаний. Во-вторых, это Кит Орд, который помог мне в некоторых выкладках и затем оказал серьёзную поддержку статье и помог придать ей ту форму, которая она имеет в конце концов. Ну, и, конечно же, я благодарен своему папе, Сергею Геннадьевичу Светунькову, который направлял меня в моей исследовательской деятельности в самом её начале и верил в меня и мои исследования ещё тогда, когда никто о них ничего не подозревал.

Если вы хотите узнать больше про модель, вам придётся прочитать статью на английском (она также доступна онлайн на сайте издателя) или же прочитать на английском историю статьи.

Сообщение Комплексное Экспоненциальное Сглаживание появились сначала на Open Forecasting.

Сообщение Complex Exponential Smoothing (working paper) появились сначала на Open Forecasting.

Сегодня, 30 января 2016 года, начинает свою жизнь пакет для R под названием «smooth». Пока что он публикуется только на сайте github.com, но в перспективе он появится и в CRAN, что облегчит многим жизнь и позволит забыть о всяких Rtools и devtools. Что же входит сейчас в этот замечательный пакет?

1. es() — функция по оценке экспоненциального сглаживания и построению прогнозов. Об этой функции я уже писал раньше здесь, здесь и здесь.
2. ces() — комплексное экспоненциальное сглаживание. Оценка и прогнозирование. Об этой функции я тоже уже писал здесь.
3. ges() — обобщённое экспоненциальное сглаживание. Подробней об этой функции я напишу позже, когда разберусь, что же она такое делает и как.
4. nus() — метод неравномерного сглаживания. Он был рассмотрен во втором томе нашего учебника по прогнозированию. Когда-нибудь я напишу о нём и на этом сайте…
5. ces.auto() — функция позволяет выбрать наилучшую модель комплексного экспоненциального сглаживания из двух: сезонной и не сезонной. Скорее всего, эта функция со временем покинет пакет «smooth», так как этот функционал должен по хорошему быть внедрён в функцию ces().
6. sim.ets() — функция позволяет генерировать временные ряды на основе модели экспоненциального сглаживания (ETS). Возможно, будет переименована в simulate.ets(), когда es() начнёт использовать классы в R.
7. sim.ces() — функция позволяет генерировать временные ряды на основе модели комплексного экспоненциального сглаживания (CES). Участь её ждёт такая же, как и sim.ets().

В пакет входит также несколько вспомогательных функций, таких как graphmaker() (построение линейных графиков) и коэффициенты для расчёта ошибок прогнозирования (MPE, MAPE, SMAPE, MASE, GMRAE). И конечно же, в пакет входит критически важная функция sowhat(), которая проверяет произвольные запросы на адекватность.

Чтобы установить пакет, нужно совсем ничего — только пара строк кода в R:

if (!require("devtools")){install.packages("devtools")}
devtools::install_github("config-i1/smooth")

Замечу, что с пакетом «TStools» при этом ничего плохого не произойдёт. Я продолжаю его поддерживать, и Ланкастерский Центр Прогнозирования продолжает постепенно добавлять новые функции в пакет. Функция es() при этом какое-то время будет в нём обновляться, но затем будет оттуда окончательно перенесена в «smooth».

Сообщение Smooth — новый пакет для R появились сначала на Open Forecasting.

Вообще симпозиум был очень плодотворным и интересным. Доклады были на совершенно разные темы: прогнозирование климата, электроэнергии, статистические методы, экспертные методы… Список громадный, на самом деле, и я затрудняюсь рассказать в одном посте обо всём, что было, но когда будут опубликованы презентации с конференции, можно будет взглянуть одним глазком на то, что же там происходило.

Среди выступающих на пленарных секциях был Хал Вэриан (Hal Varian), главный экономист Гугл и автор известного учебника по микроэкономике. Он рассказывал о нескольких сервисах Гугла (Google Trend, Google Correlate, Google Survey), которые позволяют строить любопытные регрессионные модели и собирать кучу полезной информации для маркетологов и практикующих эконометристов. Но вообще об этом ни в сказке сказать, ни пером описать. Было очень интересно!

Попробовал американский виски. Думал, будет фуфло, но оказалось очень прилично. Название не помню, брали что-то наугад, но кажется оно было сделано на основе ржи.

Впрочем, не будем отвлекаться.

Я, конечно же, делал на этом симпозиуме презентацию по прогнозированию с использованием комплексного экспоненциального сглаживания. Вот сама презентация, если кому интересно. Она вызвала живой интерес у ряда исследователей, занимающихся экспоненциальным сглаживанием и статистическими методами, и, кроме того, сумела заинтересовать несколько практикующих прогнозистов (например, из SAP и SAS). Кто знает, может пройдёт какое-то время и моя модель появится в статистичеких программах и будет широко использоваться на практике… Хотя, конечно, судя по скорости внедрения идей на практике, времени должно пройти немало.

Сообщение ISF 2015, Риверсайд, США появились сначала на Open Forecasting.

Во время презентации спал только один человек. Считаю это личным достижением.

Кому интересно, вот pdf-файл со слайдами.

Сообщение Презентация на семинаре департамента «Management Science» появились сначала на Open Forecasting.

Для того, чтобы установить эту функцию себе на компьютер нужно установить пакет smooth из CRAN:

install.packages("smooth")

В качестве альтернативы можно установить пакет из GitHub. Для этого:

1.  Установить пакет «devtools», если он не установлен:

if (!require("devtools")){install.packages("devtools")}

2. Установить пакет «CES» с сайта github:

devtools::install_github("config-i1/smooth")

После того, как пакет установился, подключаем его в R:

library("CES")

Возьмём для наших примеров временной ряд №387 из базы рядов M3. Для того, чтобы база рядов была доступна, в R надо установить и подключить пакет «Mcomp»:

install.packages("Mcomp")
library("Mcomp")

Построим график по ряду:

plot(M3$N0387$x,ylab="Series N0387")

Вот он:

Ряд N0387 из базы рядов M3

Этот ряд относится к годовым, для таких рядов в M3 строят прогнозы на срок в 6 лет. Построим CES и дадим точечный и интервальный прогнозы. Делается это с помощью следующей команды:

ces(M3$N0387$x,h=6,intervals=T) -> test

Функция выдаёт много информации и возвращает кучу векторов и матриц. Поэтому мы используем «-> test» для сохранения этих данных в отдельный объект. Кроме того, она возвращает нам следующую информацию:

"Time elapsed: 0.19 seconds"
"Model constructed: Complex Exponential Smoothing"
"a0 + ia1: 1.88365413369954+0.97087980257933i"
"ABS Eigenvalues for stability condition:"
0.9364115 0.1399830
"CF value is: 1574102"
"AIC: 264.846; AICc: 267.922; BIC: 268.407; CIC:260.846"

Разберём по пунктам, что мы тут получили.

Функция «ces» так же строит такой график:

Ряд N0387 и его прогноз по CES

Чтобы использовать прогноз CES, нам достаточно запросить его у R. Точечный прогноз:

test$forecast

Интервальный прогноз:

test$high
test$low

Если же нас интересует, насколько точно модель дала прогноз, мы можем включить тестовую выборку и немного изменить исходный запрос на:

x <- ts(c(M3$N0387$x,M3$N0387$xx),frequency=frequency(M3$N0387$x),start=start(M3$N0387$x))
ces(x,h=6,intervals=T,holdout=T) -> test

Первой строчкой мы объединили обучающую (M3$N0387$x) и тестовую (M3$N0387$xx) выборки в одну и сохранили это всё как объект «x» имеющий тип «ts» — временной ряд.

Второй строкой мы построили модель CES по обучающей выборке и дали прогноз на тестовую: команда holdout=T сообщает о том, что из всего ряда нужно h=6 последних наблюдений использовать для тестовой выборки. В результате использования этой команды мы получим немного другой вывод в командную строку:

"Time elapsed: 0.17 seconds"
"Model constructed: Complex Exponential Smoothing"
"a0 + ia1: 1.88365413369954+0.97087980257933i"
"ABS Eigenvalues for stability condition:"
0.9364115 0.1399830
"CF value is: 1574102"
"AIC: 264.846; AICc: 267.922; BIC: 268.407; CIC:260.846"
"MASE: 0.614"
"MASE.lvl: 5.224%"

Как видим, значения [1] — [7] идентичны предыдущему выводу, однако к ним добавились [8], сообщающий нам значение MASE для прогноза и [9] сообщающий нечто похожее только с делением на среднюю величину по исходному ряду данных. Эти значения сами по себе нам ни о чём не говорят, но позволяют сравнивать точность прогнозов разных моделей. MASE здесь используется, так как это наиболее адекватная и наименее смещённая мера точности прогноза. MASE.lvl так же является несмещённой, но при этом имеет некую интерпретацию, аналогичную обычной средней абсолютной процентной ошибки аппроксимации (MAPE).

График всего это выглядит следующим образом:

Ряд N0387 вместе с тестовой выборкой и его прогноз по CES

Как видим, прогноз оказался достаточно точным. Впрочем, для какого-то однозначного вывода нужно его сравнить с прогнозами по другим моделям, чего в рамках это статьи мы пока делать не будем.

CES так же умеет строить прогнозы по сезонным временным рядам. Для этого ей нужно передать вектор типа «ts» и задать тип сезонной модели. Например, для сезонного ряда N2568 из M3 команда будет иметь следующий вид:

ces(M3$N2568$x,h=18,seasonality="F",intervals=T) -> test

Выбранная сезонность здесь — «полная» или «комплексная». Она позволяет моделировать как аддитивную, так  мультипликативную сезонность во временных рядах. В коде так же реализованы частичная («P»), она же просто аддитивная, сезонность и простая сезонная модель «S», не имеющая тренда. Подробней обо всём это можно будет почитать в скором времени в статье, которая готовится к выпуску.

А вот вывод нашей команды:

Non-stable model estimated! Use with care! To avoid that reestimate ces using 'bounds=TRUE'.
"Time elapsed: 4.34 seconds"
"Model constructed: Complex Exponential Smoothing with a full (complex) seasonality"
"a0 + ia1: 1.13652538578959+1.00295810649073i"
"b0 + ib1: 1.66249591228014+1.02106035157178i"
"ABS Eigenvalues for stability condition:"
1.0043258 0.6192850 0.1573755 0.1164405
"CF value is: 36299094"
"AIC: 2079.247; AICc: 2101.13; BIC: 2161.855; CIC:2047.247"

Как видим, R сообщил нам, что построена нестабильная модель (красная строка). Он нам так же предложил переоценить модель с параметром «bounds=TRUE», который отвечает за подбор параметров исключительно в области стабильных параметров. Это имеет смысл сделать, так как в противном случае прогноз может быть неадекватным и непредсказуемым (как бы это забавно не звучало), однако скорость вычислений в таком случае снизится.

Из нового в данном выводе — название модели (с полной сезонностью) и значение сезонной комплексной постоянной сглаживания [5]. Всё остальное аналогично предыдущему примеру. Заметим, что одно из собственных чисел в строке [7] оказалось больше единицы, что как раз и привело к жуткой красной надписи.

Перезапустим функцию с предложенным параметром:

ces(M3$N2568$x,h=18,seasonality="F",intervals=T,bounds=T) -> test

Итоговый вывод и прогноз изменятся:

"Time elapsed: 36.72 seconds"
"Model constructed: Complex Exponential Smoothing with a full (complex) seasonality"
"a0 + ia1: 1.14042311450241+0.99312271083681i"
"b0 + ib1: 1.62771138458957+1.04585709733533i"
"ABS Eigenvalues for stability condition:"
0.9999924 0.5183545 0.2109118 0.1898389
"CF value is: 36209112"
"AIC: 2078.959; AICc: 2100.842; BIC: 2161.567; CIC:2046.959"

Время на вычисления теперь заняло 36,72 секунды, что почти в 10 раз больше, чем в предыдущий раз. Однако это привело к получению стабильной модели и нахождению коэффициентов, которые гарантируют немного меньшее значение целевой функции. Прогноз по CES в этом случае выглядит так:

Ряд N2568, CES и прогноз

Мы могли бы так же поиграться с тестовой выборкой, но делать этого не будем. Попробуйте проделать это сами ;).

Функция «ces» так же позволяет включать экзогенные переменные. В этом случае нужно ей передать в параметре «xreg» либо вектор (обычный либо «ts»), соответствующей переменной, либо матрицу (или «data.frame»), длинна которой должна либо соответствовать обучающей выборке, либо соответствовать обучающей выборке + горизонту прогнозирования. В первом случае значения экзогенных переменных экстраполируются методом Naïve.

К сожалению, под рукой у меня нет рядов данных, для которых можно было бы использовать экзогенные переменные, так что демонстрацию этой функции оставим на будущее.

Ну, и последнее, что включено в пакет «CES» — это функция «ces.auto», которая автоматически выбирает подходящую модель из несезонной / сезонной в зависимости от выбранного ряда данных. Делается это на основе информационного критерия. По умолчанию используется CIC, хотя можно попросить функцию выбрать и другой критерий. Посмотрим, как работает функция для ряда N2568:

ces.auto(M3$N2568$x,h=18,intervals=T,bounds=T) -> test

Построения моделей занимает какое-то время, но в конце концов мы получаем следующий вывод:

"Estimating CES with seasonality = 'N'"
"Estimating CES with seasonality = 'F'"

"The best model is with seasonality = 'F'"
"AIC: 2078.959; AICc: 2100.842; BIC: 2161.567; CIC: 2046.959"

Информации выводится немного, всё основное содержится в объекте «test». Самое главное — это то, что модель точно определила, что перед ней сезонный ряд данных.

Попробуем использовать эту же функцию для какого-нибудь ряда с аддитивной сезонностью и включим модель частичной сезонности. Для примера рассмотрим ряд N1192. Это ряд квартальных данных, период упреждения прогноза в нём обычно берётся равным 8 наблюдений.

x <- ts(c(M3$N1192$x,M3$N1192$xx),frequency=frequency(M3$N1192$x),start=start(M3$N1192$x))
ces.auto(x,h=8,model.types=c("N","P","F"),holdout=T,bounds=T,intervals=T) -> test

Параметр «model.types» передаёт функции все названия типов CES, которые нужно проверить по ряду данных. В результате применения этой функции получаем:

"Estimating CES with seasonality = 'N'"
"Estimating CES with seasonality = 'P'"
"Estimating CES with seasonality = 'F'"

"The best model is with seasonality = 'P'"
"AIC: 204.001; AICc: 234.001; BIC: 210.954; CIC: 197.001"
"MASE: 0.721"
"MASE.lvl: 3.885%"

Наилучшая модель — это модель с частичной сезонностью, так как ряд данных имеет аддитивную сезонную компоненту. Выглядит прогноз следующим образом:

Ряд N1192, CES и прогноз

Чисто графически видно, что точечный прогноз оказался недостаточно точным. Вызвано это малым количеством данных — точность CES повышается с ростом числа наблюдений. Тем не менее будущие значения попали в прогнозный интервал, так что не всё потеряно.

Применение той же команды для какого-нибудь другого ряда, только без сезонности, приводит к выбору несезонной модели CES. Можете поверить на слово, а можете сами проверить. Например, на ряде N1041.

По CES пока всё. Как только что-нибудь появится новое, обязательно напишу.

До новых встреч!

Сообщение Комплексное экспоненциальное сглаживание для R появились сначала на Open Forecasting.