Нейрокомпьютерные системы



              

Сеть Хемминга


Сеть Хемминга включает в себя три слоя (рис.2).

Первый слой имеет однонаправленное распространение сигналов от входа к выходу и фиксированные значения весов.

Второй слой состоит из нейронов, связанных обратными связями по принципу "каждый с каждым", при этом в каждом нейроне слоя существует автосвязь (связь входа нейрона со своим собственным выходом). Разные нейроны в слое связаны отрицательной (тормозящей) обратной связью с весом

- \varepsilon
, при этом величина
\varepsilon
обычно обратно пропорциональна количеству образов. С собственным входом нейрон связан положительной (возбуждающей) обратной связью с весом, равным +1. Пороговые веса нейронов приняты равными нулю. Нейроны этого слоя функционируют в режиме
WTA
, при котором в каждой фиксированной ситуации активизируется только один нейрон, а остальные пребывают в состоянии покоя.

Выходной однонаправленный слой формирует выходной вектор, соответствующий входному вектору.

Структура сети Хемминга

увеличить изображение
Рис. 2.  Структура сети Хемминга

Сеть Хемминга считается гетероассоциативным запоминающим устройством с парой связанных между собой векторов

(x,y)
, где
x
и
y
- входной и выходной биполярные векторы сети.

Веса первого слоя соответствуют векторам

x_i,i=1, \ldots, p
, т.е.

 \begin{align*} w_{ij}^{(1)}=x_{ij}. \end{align*}

Аналогично, веса выходного слоя соответствуют векторам образов

y_i
, связанных с
x_i
:

 \begin{align*} w_{ij}^{(3)}=y_{ij}. \end{align*}

Во втором слое (MAXNET), функционирующем в режиме WTA (Winner Takes ALL - "Победитель забирает все"), каждый нейрон должен усиливать собственный сигнал и ослаблять сигналы остальных нейронов. Для этого принимается

 \begin{align*} w_{ij}^{(2)}=1, \end{align*}

а также

 \begin{align*} -1/(p-1) < w_{ij}^{(2)} < 0,\quad i\neq j. \end{align*}

Для обеспечения сходимости итерационного процесса во втором слое веса

 \begin{align*} w_{ij}^{(2)}= - 1/(p-1)+ \xi, \end{align*}

где

\xi
- достаточно малая случайная величина,
|\xi|\ll 1/(p-1)
.

Нейроны первого слоя рассчитывают расстояния Хемминга

d_H(x,y)

между поданным на вход сети вектором

x
и векторами весов
w_i=x_i,i=1,2, \ldots, p

нейронов этого слоя. Значения выходных сигналов нейронов первого слоя определяются по формуле

 \begin{align*} y_i^{(1)}=1- d_H(x,y)/N, \end{align*}

где

N
- число компонент вектора
x
.

Сигналы

y_i^{(1)}
становятся начальными состояниями нейронов второго слоя. Этот слой определяет "победителя", т.е. нейрон, выходной сигнал которого близок к 1.


Содержание  Назад  Вперед