Нейрокомпьютерные системы



              

Модель нейрона Хебба


Структурная схема нейрона Хебба соответствует стандартной форме модели нейрона (рис.1). Д.Хебб предложил формальное правило, в котором вес

w_i
нейрона изменяется пропорционально произведению его входного и выходного сигналов

 \begin{align*} \Delta w_{i} = \alpha x_{i}y, \end{align*}

где

\alpha\in(0,1)
- коэффициент обучения.

При обучении с учителем вместо выходного сигнала

y
используется ожидаемая от этого нейрона реакция
d
. В этом случае правило Хебба записывается в виде

 \begin{align*} \Delta w_{i} = \alpha x_{i}d, \end{align*}

В каждом цикле обучения происходит суммирование текущего значения веса и его приращения

\Delta w_{i}
:

 \begin{align*} w_i(t+1) = w_i(t) + \Delta w_{i}. \end{align*}

В результате применения правила Хебба веса нейрона могут принимать произвольно большие значения. Один из способов стабилизации процесса обучения по правилу Хебба состоит в учете последнего значения

w_i
, уменьшенного на коэффициент забывания
\gamma
. При этом правило Хебба представляется в виде

 \begin{align*} w_i(t+1) = w_i(t)(1 - \gamma) + \Delta w_{i}. \end{align*}

Значение

\gamma
выбирается из интервала (0,1) и чаще всего составляет некоторый процент от коэффициента обучения
\alpha
. Рекомендуемые значения коэффициента забывания -
\gamma < 0.1
, при которых нейрон сохраняет большую часть информации, накопленной в процессе обучения, и получает возможность стабилизировать значения весов на определенном уровне.




Содержание  Назад  Вперед