Нейрокомпьютерные системы



              

Рекуррентная сеть Эльмана


Рекуррентная сеть Эльмана характеризуется частичной рекуррентностью в форме обратной связи между скрытым и входным слоем, реализуемой с помощью единичных элементов запаздывания

z
. Обобщенная структура этой сети представлена на рис. 3.

Каждый скрытый нейрон имеет свой аналог в контекстном слое, образующем совместно с внешними входами сети входной слой. Выходной слой состоит из нейронов, однонаправленно связанных только с нейронами скрытого слоя, подобно сети RMLP. Обозначим внутренний вектор возбуждения сети

x

(в его состав входит также единичный сигнал поляризации), состояния скрытых нейронов -

v \in R^K
, а выходные сигналы сети -
y \in R^M
. При таких обозначениях входной вектор сети в момент
t
имеет форму

 \begin{align*} X(k) = [x_0(k), x_1(k), \ldots, x_N(k), v_1(k-1), v_2(k-1), \ldots, v_K(k-1)]. \end{align*}

Веса синаптических связей первого (скрытого) слоя сети обозначим

w_{ij}^{(1)}
, a второго (выходного) слоя -
w_{ij}^{(2)}
. Если взвешенную сумму
i
-го нейрона скрытого слоя обозначить
u_i
, а его выходной сигнал -
v_i
, то

 \begin{align*} u_i(k) = \sum_{j=0}^{N+K} w_{ij}^{(1)}x_j(k),\\ v_i(k) = f_1(u_i(k)). \end{align*}

Структура сети Эльмана

увеличить изображение
Рис. 3.  Структура сети Эльмана

Веса

w_{ij}^{(1)}
образуют матрицу
W^{(1)}

синаптических связей скрытого слоя, а

f_1(u_i)
- функция активации
i
-го нейрона этого слоя. Аналогично можно обозначить взвешенную сумму
i
-го нейрона выходного слоя
g_i
, а соответствующий ему выходной сигнал сети -
y_i
. Эти сигналы описываются формулами

 \begin{align*} g_i(k) = \sum_{i=0}^K w_{ij}^{(2)}v_j(k),\\ y_i(k) = f_2(g_i(k)). \end{align*}

В свою очередь, веса

w_{ij}^{(2)}
образуют матрицу
W^{(2)}
, описывающую синаптические связи нейронов выходного слоя;
f_2(g_i)
- функция активации
i
-го нейрона выходного слоя.

Сеть Эльмана естественным образом предназначена для моделирования временных рядов. В частности, она решает задачу прогнозирования амплитуды сигнала на основе текущего значения входного сигнала и запомненных значений из предыдущего временного цикла. Задача прогноза временных рядов возникает в финансовой области: прогноз котировок товаров и ценных бумаг на бирже, курсов валют, показателей банковской деятельности. В экономике прогноз может быть связан, например, с анализом уровня производства в различных отраслях промышленности и сельского хозяйства, процента трудовой занятости населения, роста средней заработной платы. Проблема прогноза временных рядов возникает в многочисленных экологических задачах и самых разнообразных технических приложениях.




Содержание  Назад  Вперед