Нейрокомпьютерные системы


              

Обучение сети Хопфилда методом проекций


Лучшие результаты, чем при использовании правила Хебба, можно получить, если для обучения использовать псевдоинверсию. В основе этого подхода лежит предположение, что при правильно подобранных весах каждый поданный на вход сети вектор вызывает генерацию самого себя на выходе сети. В матричной форме это можно представить в виде

где

- матрица весов сети размерностью
, а
- прямоугольная матрица размерностью
, составленная из

обучающих векторов

. Решение такой линейной системы уравнений имеет вид

где знак + обозначает псевдоинверсию.

Если обучающие векторы линейно независимы, последнее выражение можно упростить и представить в виде

(2)

Здесь псевдоинверсия заменена обычной инверсией квадратной матрицы

размерностью
.

Выражение (2) можно записать в итерационной форме, не требующей расчета обратной матрицы. В этом случае (2) принимает вид итерационной зависимости от последовательности обучающих векторов

,
:

при начальных условиях

. В результате предъявления
векторов матрица весов сети принимает значение
. Описанный здесь метод называется методом проекций. Применение его увеличивает максимальную емкость сети Хопфилда до
. Увеличение емкости обусловлено тем, что в методе проекций требование ортогональности векторов заменено гораздо менее жестким требованием их линейной независимости.

Модифицированный вариант метода проекций - метод

-проекций — градиентная форма алгоритма минимизации. В соответствии с этим методом веса подбираются с помощью процедуры, многократно повторяемой на всем множестве обучающих векторов:

Обучающие векторы предъявляются многократно вплоть до стабилизации значений весов.



Содержание  Назад  Вперед