Нейрокомпьютерные системы


              

Сеть RTRN


Среди рекуррентных сетей особого внимания заслуживает сеть типа RTRN (англ.: Real Time Recurrent Network), предложенная Р.Вильямсом и Д.Зипсером и предназначенная для обработки сигналов в реальном времени. Сеть RTRN - частный случай сети Эльмана.


увеличить изображение
Рис. 4.  Структура сети RTRN

Обобщенная структура сети представлена на рис. 4. Сеть содержит

входных узлов,
скрытых нейронов и
соответствующих им узлов контекстного слоя. Из
скрытых нейронов только
составляют выход сети. Обозначим взвешенную сумму
-го нейрона скрытого слоя
, а выход этого нейрона -
. Вектор
и смещенный (задержанный) на один цикл вектор
образуют расширенный вектор активации
, возбуждающий нейроны сети:

После описания входного вектора сети в момент

можно определить состояние всех нейронов согласно зависимостям:

u_i(k) = \sum_{j=0}^{N+K} w_{ij}x_j(k)," width="200" height="29">

(2)

(3)

причем

обозначает непрерывную функцию активации нейрона (как правило, сигмоидальную). На рис. 4 видно, что сеть RTRN представляет собой частный случай сети Эльмана, в которой веса выходного слоя постоянны и равны дельте Кронекера, т.е.
для
или
для
. В этом случае можно применять алгоритм обучения Вильяма-Зипсера.

1. Выбрать случайные начальные значения весов сети, составляющих матрицу

и равномерно распределенных в заданном интервале (обычно в диапазоне от
до
).

2. Рассчитать состояние всех K нейронов для очередного момента

с использованием формул (1) и (2). На этой основе можно определить входной вектор
, возбуждающий нейроны в момент
.

3. Рассчитать значения

4. Уточнить значения весов по алгоритму наискорейшего спуска согласно формуле

для

и
.

Шаги (2-4) повторять вплоть до стабилизации значений всех весов сети.



Содержание  Назад