Нейрокомпьютерные системы

         

Одномерная оптимизация


Все пошаговые методы оптимизации состоят из двух важнейших частей:

  • выбора направления,
  • выбора шага в данном направлении (подбор коэффициента обучения).

Методы одномерной оптимизации дают эффективный способ для выбора шага.

В простейшем случае коэффициент обучения фиксируется на весь период оптимизации. Этот способ практически используется только совместно с методом наискорейшего спуска. Величина подбирается раздельно для каждого слоя сети по формуле

где

обозначает количество входов
-го нейрона в слое.

Более эффективный метод основан на адаптивном подборе коэффициента

с учетом фактической динамики величины целевой функции. Стратегия изменения значения
определяется путем сравнения суммарной погрешности
на
-й итерации с ее предыдущим значением, причем рассчитывается по формуле

Для ускорения процесса обучения следует стремиться к непрерывному увеличению

при одновременном контроле прироста погрешности
по сравнению с ее значением на предыдущем шаге. Незначительный рост погрешности считается допустимым.

Если погрешности на

-1-й и
-й итерациях обозначить соответственно
и
, а коэффициенты обучения на этих же итерациях —
и
, то значение
следует рассчитывать по формуле

где

- коэффициент допустимого прироста погрешности,
- коэффициент уменьшения

- коэффициент увеличения

.

Наиболее эффективный, хотя и наиболее сложный, метод подбора коэффициентов обучения связан с направленной минимизацией целевой функции в выбранном направлении

. Необходимо так подобрать значение
, чтобы новое решение
соответствовало минимуму целевой функции в данном направлении
.

Поиск минимума основан на полиномиальной аппроксимации целевой функции. Выберем для аппроксимации многочлен второго порядка

где

,
и
— коэффициенты, определяемые в цикле оптимизации. Для расчета этих коэффициентов используем три произвольные точки
, лежащие в направлении
, т.е.

Соответствующие этим точкам значения целевой функции

обозначим как

(5)

Коэффициенты

,
и

рассчитываются в соответствии с решением системы уравнений (5).
Для определения минимума многочлена

его производная
приравнивается к нулю, что позволяет получить
. После подстановки выражений для
в формулу для
получаем






Содержание раздела