Сообщение Complex Exponential Smoothing (working paper) появились сначала на Open Forecasting.

Вообще симпозиум был очень плодотворным и интересным. Доклады были на совершенно разные темы: прогнозирование климата, электроэнергии, статистические методы, экспертные методы… Список громадный, на самом деле, и я затрудняюсь рассказать в одном посте обо всём, что было, но когда будут опубликованы презентации с конференции, можно будет взглянуть одним глазком на то, что же там происходило.

Среди выступающих на пленарных секциях был Хал Вэриан (Hal Varian), главный экономист Гугл и автор известного учебника по микроэкономике. Он рассказывал о нескольких сервисах Гугла (Google Trend, Google Correlate, Google Survey), которые позволяют строить любопытные регрессионные модели и собирать кучу полезной информации для маркетологов и практикующих эконометристов. Но вообще об этом ни в сказке сказать, ни пером описать. Было очень интересно!

Попробовал американский виски. Думал, будет фуфло, но оказалось очень прилично. Название не помню, брали что-то наугад, но кажется оно было сделано на основе ржи.

Впрочем, не будем отвлекаться.

Я, конечно же, делал на этом симпозиуме презентацию по прогнозированию с использованием комплексного экспоненциального сглаживания. Вот сама презентация, если кому интересно. Она вызвала живой интерес у ряда исследователей, занимающихся экспоненциальным сглаживанием и статистическими методами, и, кроме того, сумела заинтересовать несколько практикующих прогнозистов (например, из SAP и SAS). Кто знает, может пройдёт какое-то время и моя модель появится в статистичеких программах и будет широко использоваться на практике… Хотя, конечно, судя по скорости внедрения идей на практике, времени должно пройти немало.

Сообщение ISF 2015, Риверсайд, США появились сначала на Open Forecasting.

Но для начала краткая история появления чисел.

Краткая история появления чисел

В одной старой заброшенной пещере жило племя «Ку» доисторических людей. Жило оно так же как все: носило одежду из шкур и листьев, питалось красными да синими ягодами, и все объекты в мире воспринимало в форме «один» и «не один». Вот и в их племени было «не один» человек. Так бы и жили они дальше и ни о чём не задумывались, питались бы ягодами, да не знали бед, если бы однажды Уга, жена Учу, вождя племени, не обнаружила в лесу волшебные плоды. Были они красные, сочные, вкусны и размером с кулак, поэтому унести она могла немного. Уга была умной доисторической женщиной, поэтому она решила, что этих плодов нужно взять ровно столько, сколько доисторических людей жило в племени. Впрочем, «не один» плохо описывало нужное количество, поэтому она задумала что-то страшное — взять и придумать такие штуки, которые характеризовали бы количество людей в племени. Так Уга фактически изобрела множество натуральных чисел. Имея его, она уже могла взять ровно девять плодов и ни плодом больше.

Прошли годы, Уга постарела, ей исполнилось 26 лет, но она продолжала ходить в лес за плодами и по старой привычке приносила девять штук. Однако однажды вождь, видя девять плодов, рассердился. Он сказал ей:

«Уга уга у а учу ачу!»

И тогда Уга поняла свою ошибку. Дело в том, что этим утром к ним пришёл сосед из племени «Ук», которого Учу хотел съесть на ужин, и для того, чтобы сделать это он решил предварительно накормить и усыпить гостя. Поэтому ему нужно было десять плодов, а не девять, как обычно. А недальновидная Уга как обычно… Не долго думаю, Уга сообразила, что не хватает ещё одного плода, открыв таким образом отрицательные числа. Объединив в своём воображении множество натуральных чисел, отрицательные числа и ещё странное число «нуль», которое характеризовало число плодов, доставшееся в результате всего этого ей лично, Уга пришла ко множеству целых чисел.

Шли годы. Уга взрослела. Ей исполнилось 27. Она уже вышла на пенсию и перестала быть любимой женой Учу. За плодами ходили уже более сильные женщины, а ей просто доставалось то, что доставалось. Очень часто она получала ни один целый, большой, вкусный и сочный плод, а половину или того меньше маленького, кислого, зелёного и сморщенного. Слава богу ягоды всегда оставались целыми — их разделить на части в условиях доисторического хозяйства было невозможно. Именно в этот период своей жизни, получая половины, четверти, одни девятые и десятые, она открыла для себя дробные числа. Объединив дробные числа с множеством целых, соблюдая свой рацион из целых ягод и дробных плодов, она получила множество рациональных чисел.

Долго ли, коротко ли, но в один осенний день, когда Уга рассчитывала сторону гипотенузы по теореме Пифагора, она столкнулась со странным числом. Каждый из катетов треугольника был равен одному локтю, а вот гипотенуза получалась равной корню квадратному из двух квадратных локтей. Число \( \sqrt{2} \) было для неё странным и непонятным. Она чувствовала, что такое число было примерно равно 1.41421356237, но никак доказать этого не могла. Более того, она понимала, что это число находится где-то между 1.41421356236 и 1.41421356238, но при этом не по середине, а как-то иначе. В общем, во множестве рациональных чисел такому числу места не было. И, конечно же, Уга отдавала себе отчёт в том, что испытывает определённые затруднения при попытке связать это число с реальным миром. Потом она обнаружила и другие странные числа, такие как \( \sqrt{3} \), \( \ln(2) \), \( \pi \) и \( e \) (число Эйлера). В связи с тем, что таких чисел набиралось уже много, но толкового объяснения им дать не получалось, Уга назвала множество таких чисел иррациональным и расслабилась. Не будучи глупой женщиной (особенно для древних людей), она не растерялась и объединила множества рациональных и иррациональных чисел во множество действительных чисел, решив, что она может совершать с ними любые действия, какие захочет.

Но одной зимой, когда Уга шила одежду из шерстяной ткани она столкнулась с нестандартной ситуацией. Для того, чтобы доделать вечернее платье, ей не хватало четырёх квадратных метров серой шерстяной ткани. Вспоминая пример с плодами из своей молодости, она, будучи развитым и абстрактно мыслящим существом, решила, что у неё в распоряжении -4 квадратных метра ткани. Ну, так ей было легче понимать и воспринимать, а так же общаться с соплеменниками, кто мы такие, чтобы её за это корить? Когда же её помощница Агу спросила, какой длины ей нужна ткань, она недолго думая извлекла корень квадратный из недостающей площади и вышла в астрал. Дело в том, что операция, которую она выполнила, не работала в области действительных чисел. Посудите сами: \( \sqrt{-4} = 2 \sqrt{-1} \), но в области действительных чисел такого числа не было (прям как ситуация со рациональными и иррациональными числами). Тогда она, посчитав, что только воображает эту длину ткани, решила такие числа называть воображаемыми или мнимыми, а число \( \sqrt{-1} \) обозначила латинской буквой «i» и назвала мнимой единицей. Так на свет появилось множество мнимых чисел. Не долго думая, Уга объединила множества действительных и мнимых чисел, получив множество комплексных чисел, замкнутое относительно любых математических операций. Последняя фраза значила, что чтобы она ни делала с числами в этом множестве, а парадоксов она больше не встречала.

Конечно же, всё это забылось после того, как Угу сгрыз саблезубый бобёр, и человечеству пришлось пройти по пути всех этих математических открытий ещё раз, но мне об этой истории доподлинно известно из своего воображения!

Кстати, Гаусс не разделял идеи Уги о названиях множеств. Он говорил, что, если бы числа 1, -1 и \( \sqrt{-1} \) назывались «прямой», «обратной» и «побочной», а не «положительной», «отрицательной» и «мнимой» единицами, то никакой мистики вокруг этих чисел не было бы. Посудите сами, то, что число «отрицательное» ещё не говорит о том, что оно плохое (как отрицательный персонаж), «иррациональное» — не говорит о том, что оно не разумно, а «мнимое» — не говорит о том, что оно не существует (якобы в отличие от всех остальных «действительных» чисел). Так что Уга с названиями поторопилась… Но что возьмёшь с доисторического человека?!

Что такое комплексное число

Итак, комплексное число — это число, состоящее из двух частей: действительной и мнимой. Записывается оно обычно в виде:

\begin{equation} \label{eq:algebraic}
z = a + bi ,
\end{equation}

где a и b — действительные числа, i — мнимая единица, число удовлетворяющее равенству \( i^2 = -1 \).

Действительная часть комплексного числа иногда обозначается следующим образом: \( a = Re(z) \), — в то время как мнимая обозначается так: \( b = Im(z) \).

Типичное комплексное число можно представить как вектор на плоскости следующим образом:

Комплексное число на плоскости

Как и любой вектор комплексное число может характеризоваться помимо координат ещё и углом наклона \( \varphi \) (он же «полярный угол» и «аргумент») и длиной (которая так же известна под именем «модуль»). Для сравнения любое действительное число может быть представлено как точка на прямой, либо вектор, проложенный вдоль прямой, например вот так:

Действительное число на прямой

То есть переход от действительных к комплексным числам — это фактически переход от прямой к плоскости. Этакое расширение сознания…

Угол наклона комплексного числа может быть найден на основе знаний из курса геометрии, например, следующим образом:

\begin{equation} \label{eq:angle}
\varphi = arg(z) = arctan \left( \frac{b}{a} \right) + 2 \pi k, k \in Z
\end{equation}

Иногда для упрощения допускают, что \( k = 0\), выкидывая таким образом множество ненужных углов.

Следую теореме Пифагора, длина вектора находится по следующей формуле:

\begin{equation} \label{eq:magnitude}
R = \sqrt{a^2 + b^2}
\end{equation}

Используя всю ту же геометрию, каждую из частей в \eqref{eq:algebraic} можно представить через косинус и синус полярного угла следующим образом:

\begin{equation} \label{eq:trigonometric}
z = a + bi = R cos \varphi + i R sin \varphi = R \left( cos \varphi + i sin \varphi \right),
\end{equation}

Но на этом формы представления комплексных чисел не заканчиваются. Один товарищ по имени Эйлер после того как вывел своё число предложил следующее представление комплексного числа:

\begin{equation} \label{eq:exponential}
z = R e^ {i \varphi},
\end{equation}

Такая форма представления называется экспоненциальной и она очень удобна при перемножении комплексных чисел — всё, что нужно сделать в таком случае это перемножить модули и сложить полярные углы. Как следует из этого описания при умножении одного комплексного числа на другое происходит изменение длины и полярного угла первого. Это приводит к его «вращению» вокруг начала координат и либо увеличению, либо уменьшению модуля. В итоге можно получать такие красивые, но не всегда полезные графики на комплексной плоскости:

Красивая спиралька

С комплексными числами можно без зазрений совести проводить операции сложения, вычитания, умножения, деления, возведения в любую степень, логарифмирования и вообще чего угодно. Можно даже решать уравнения типа \(cos \varphi = 2 \)! В результате этих операций всегда будет получаться число, входящее во множество комплексных чисел. Единственное, чего нельзя делать — это делить на ноль, но об этом даже дети знают!

Сообщение Немного о комплексных числах появились сначала на Open Forecasting.

Во время презентации спал только один человек. Считаю это личным достижением.

Кому интересно, вот pdf-файл со слайдами.

Сообщение Презентация на семинаре департамента «Management Science» появились сначала на Open Forecasting.

Для того, чтобы установить эту функцию себе на компьютер нужно установить пакет smooth из CRAN:

install.packages("smooth")

В качестве альтернативы можно установить пакет из GitHub. Для этого:

1.  Установить пакет «devtools», если он не установлен:

if (!require("devtools")){install.packages("devtools")}

2. Установить пакет «CES» с сайта github:

devtools::install_github("config-i1/smooth")

После того, как пакет установился, подключаем его в R:

library("CES")

Возьмём для наших примеров временной ряд №387 из базы рядов M3. Для того, чтобы база рядов была доступна, в R надо установить и подключить пакет «Mcomp»:

install.packages("Mcomp")
library("Mcomp")

Построим график по ряду:

plot(M3$N0387$x,ylab="Series N0387")

Вот он:

Ряд N0387 из базы рядов M3

Этот ряд относится к годовым, для таких рядов в M3 строят прогнозы на срок в 6 лет. Построим CES и дадим точечный и интервальный прогнозы. Делается это с помощью следующей команды:

ces(M3$N0387$x,h=6,intervals=T) -> test

Функция выдаёт много информации и возвращает кучу векторов и матриц. Поэтому мы используем «-> test» для сохранения этих данных в отдельный объект. Кроме того, она возвращает нам следующую информацию:

"Time elapsed: 0.19 seconds"
"Model constructed: Complex Exponential Smoothing"
"a0 + ia1: 1.88365413369954+0.97087980257933i"
"ABS Eigenvalues for stability condition:"
0.9364115 0.1399830
"CF value is: 1574102"
"AIC: 264.846; AICc: 267.922; BIC: 268.407; CIC:260.846"

Разберём по пунктам, что мы тут получили.

Функция «ces» так же строит такой график:

Ряд N0387 и его прогноз по CES

Чтобы использовать прогноз CES, нам достаточно запросить его у R. Точечный прогноз:

test$forecast

Интервальный прогноз:

test$high
test$low

Если же нас интересует, насколько точно модель дала прогноз, мы можем включить тестовую выборку и немного изменить исходный запрос на:

x <- ts(c(M3$N0387$x,M3$N0387$xx),frequency=frequency(M3$N0387$x),start=start(M3$N0387$x))
ces(x,h=6,intervals=T,holdout=T) -> test

Первой строчкой мы объединили обучающую (M3$N0387$x) и тестовую (M3$N0387$xx) выборки в одну и сохранили это всё как объект «x» имеющий тип «ts» — временной ряд.

Второй строкой мы построили модель CES по обучающей выборке и дали прогноз на тестовую: команда holdout=T сообщает о том, что из всего ряда нужно h=6 последних наблюдений использовать для тестовой выборки. В результате использования этой команды мы получим немного другой вывод в командную строку:

"Time elapsed: 0.17 seconds"
"Model constructed: Complex Exponential Smoothing"
"a0 + ia1: 1.88365413369954+0.97087980257933i"
"ABS Eigenvalues for stability condition:"
0.9364115 0.1399830
"CF value is: 1574102"
"AIC: 264.846; AICc: 267.922; BIC: 268.407; CIC:260.846"
"MASE: 0.614"
"MASE.lvl: 5.224%"

Как видим, значения [1] — [7] идентичны предыдущему выводу, однако к ним добавились [8], сообщающий нам значение MASE для прогноза и [9] сообщающий нечто похожее только с делением на среднюю величину по исходному ряду данных. Эти значения сами по себе нам ни о чём не говорят, но позволяют сравнивать точность прогнозов разных моделей. MASE здесь используется, так как это наиболее адекватная и наименее смещённая мера точности прогноза. MASE.lvl так же является несмещённой, но при этом имеет некую интерпретацию, аналогичную обычной средней абсолютной процентной ошибки аппроксимации (MAPE).

График всего это выглядит следующим образом:

Ряд N0387 вместе с тестовой выборкой и его прогноз по CES

Как видим, прогноз оказался достаточно точным. Впрочем, для какого-то однозначного вывода нужно его сравнить с прогнозами по другим моделям, чего в рамках это статьи мы пока делать не будем.

CES так же умеет строить прогнозы по сезонным временным рядам. Для этого ей нужно передать вектор типа «ts» и задать тип сезонной модели. Например, для сезонного ряда N2568 из M3 команда будет иметь следующий вид:

ces(M3$N2568$x,h=18,seasonality="F",intervals=T) -> test

Выбранная сезонность здесь — «полная» или «комплексная». Она позволяет моделировать как аддитивную, так  мультипликативную сезонность во временных рядах. В коде так же реализованы частичная («P»), она же просто аддитивная, сезонность и простая сезонная модель «S», не имеющая тренда. Подробней обо всём это можно будет почитать в скором времени в статье, которая готовится к выпуску.

А вот вывод нашей команды:

Non-stable model estimated! Use with care! To avoid that reestimate ces using 'bounds=TRUE'.
"Time elapsed: 4.34 seconds"
"Model constructed: Complex Exponential Smoothing with a full (complex) seasonality"
"a0 + ia1: 1.13652538578959+1.00295810649073i"
"b0 + ib1: 1.66249591228014+1.02106035157178i"
"ABS Eigenvalues for stability condition:"
1.0043258 0.6192850 0.1573755 0.1164405
"CF value is: 36299094"
"AIC: 2079.247; AICc: 2101.13; BIC: 2161.855; CIC:2047.247"

Как видим, R сообщил нам, что построена нестабильная модель (красная строка). Он нам так же предложил переоценить модель с параметром «bounds=TRUE», который отвечает за подбор параметров исключительно в области стабильных параметров. Это имеет смысл сделать, так как в противном случае прогноз может быть неадекватным и непредсказуемым (как бы это забавно не звучало), однако скорость вычислений в таком случае снизится.

Из нового в данном выводе — название модели (с полной сезонностью) и значение сезонной комплексной постоянной сглаживания [5]. Всё остальное аналогично предыдущему примеру. Заметим, что одно из собственных чисел в строке [7] оказалось больше единицы, что как раз и привело к жуткой красной надписи.

Перезапустим функцию с предложенным параметром:

ces(M3$N2568$x,h=18,seasonality="F",intervals=T,bounds=T) -> test

Итоговый вывод и прогноз изменятся:

"Time elapsed: 36.72 seconds"
"Model constructed: Complex Exponential Smoothing with a full (complex) seasonality"
"a0 + ia1: 1.14042311450241+0.99312271083681i"
"b0 + ib1: 1.62771138458957+1.04585709733533i"
"ABS Eigenvalues for stability condition:"
0.9999924 0.5183545 0.2109118 0.1898389
"CF value is: 36209112"
"AIC: 2078.959; AICc: 2100.842; BIC: 2161.567; CIC:2046.959"

Время на вычисления теперь заняло 36,72 секунды, что почти в 10 раз больше, чем в предыдущий раз. Однако это привело к получению стабильной модели и нахождению коэффициентов, которые гарантируют немного меньшее значение целевой функции. Прогноз по CES в этом случае выглядит так:

Ряд N2568, CES и прогноз

Мы могли бы так же поиграться с тестовой выборкой, но делать этого не будем. Попробуйте проделать это сами ;).

Функция «ces» так же позволяет включать экзогенные переменные. В этом случае нужно ей передать в параметре «xreg» либо вектор (обычный либо «ts»), соответствующей переменной, либо матрицу (или «data.frame»), длинна которой должна либо соответствовать обучающей выборке, либо соответствовать обучающей выборке + горизонту прогнозирования. В первом случае значения экзогенных переменных экстраполируются методом Naïve.

К сожалению, под рукой у меня нет рядов данных, для которых можно было бы использовать экзогенные переменные, так что демонстрацию этой функции оставим на будущее.

Ну, и последнее, что включено в пакет «CES» — это функция «ces.auto», которая автоматически выбирает подходящую модель из несезонной / сезонной в зависимости от выбранного ряда данных. Делается это на основе информационного критерия. По умолчанию используется CIC, хотя можно попросить функцию выбрать и другой критерий. Посмотрим, как работает функция для ряда N2568:

ces.auto(M3$N2568$x,h=18,intervals=T,bounds=T) -> test

Построения моделей занимает какое-то время, но в конце концов мы получаем следующий вывод:

"Estimating CES with seasonality = 'N'"
"Estimating CES with seasonality = 'F'"

"The best model is with seasonality = 'F'"
"AIC: 2078.959; AICc: 2100.842; BIC: 2161.567; CIC: 2046.959"

Информации выводится немного, всё основное содержится в объекте «test». Самое главное — это то, что модель точно определила, что перед ней сезонный ряд данных.

Попробуем использовать эту же функцию для какого-нибудь ряда с аддитивной сезонностью и включим модель частичной сезонности. Для примера рассмотрим ряд N1192. Это ряд квартальных данных, период упреждения прогноза в нём обычно берётся равным 8 наблюдений.

x <- ts(c(M3$N1192$x,M3$N1192$xx),frequency=frequency(M3$N1192$x),start=start(M3$N1192$x))
ces.auto(x,h=8,model.types=c("N","P","F"),holdout=T,bounds=T,intervals=T) -> test

Параметр «model.types» передаёт функции все названия типов CES, которые нужно проверить по ряду данных. В результате применения этой функции получаем:

"Estimating CES with seasonality = 'N'"
"Estimating CES with seasonality = 'P'"
"Estimating CES with seasonality = 'F'"

"The best model is with seasonality = 'P'"
"AIC: 204.001; AICc: 234.001; BIC: 210.954; CIC: 197.001"
"MASE: 0.721"
"MASE.lvl: 3.885%"

Наилучшая модель — это модель с частичной сезонностью, так как ряд данных имеет аддитивную сезонную компоненту. Выглядит прогноз следующим образом:

Ряд N1192, CES и прогноз

Чисто графически видно, что точечный прогноз оказался недостаточно точным. Вызвано это малым количеством данных — точность CES повышается с ростом числа наблюдений. Тем не менее будущие значения попали в прогнозный интервал, так что не всё потеряно.

Применение той же команды для какого-нибудь другого ряда, только без сезонности, приводит к выбору несезонной модели CES. Можете поверить на слово, а можете сами проверить. Например, на ряде N1041.

По CES пока всё. Как только что-нибудь появится новое, обязательно напишу.

До новых встреч!

Сообщение Комплексное экспоненциальное сглаживание для R появились сначала на Open Forecasting.

А теперь другой вопрос. Сколько степеней свободы будет у регрессионной модели комплексных переменных с 4-мя коэффициентами, построенной по 80-ти наблюдениям? Не спешите с ответом. Там на самом деле не 76…

Для того, чтобы правильно ответить на этот вопрос, нужно понять, что собой представляет комплекснозначная регрессионная модель. Фактически она эквивалентна системе двух действительных уравнений, в которой используются одни и те же коэффициенты. Например, модель вида: \(y_1 + i y_2 = (a_1 + i b_1) (x_1 + i x_2)\) — эквивалентна следующей системе:

\begin{equation}
\left\{
\begin{matrix}
y_1 = a_1 x_1-b_1 x_2 \\
y_2 = b_1 x_1+a_1 x_2
\end{matrix} \right.
\end{equation}

То есть, даже если у вас в распоряжении только одно наблюдение, а нужно оценить два коэффициента, вы можете это сделать без затруднений, так как в вашем распоряжении оказывается система из двух уравнений с двумя неизвестными (\( a_1 \) и \( b_1 \)). Очевидно, что такая модель будет иметь 0 степеней свободы, так как она однозначно позволяет определить значения коэффициентов.

Если бы мы использовали для подобной модели всем известный метод оценки степеней свободы \( df = n- k \), мы бы пришли к выводу, что у модели \( -1 \) степень свободы и вынуждены были бы прийти к заключению, что оценить её не представляется возможным. Однако в случае с комплекснозначными регрессиями число степеней свободы должно рассчитываться иначе:

\begin{equation}
df = n-\frac {k} {2} .
\end{equation}

Конечно, в случае с нечётным числом коэффициентов, число степеней свободы будет дробным, однако математическую статистику дробными степенями свободы не удивить.

Сообщение Число степеней свободы в комплекснозначных моделях появились сначала на Open Forecasting.