Одномерная оптимизация

Все пошаговые методы оптимизации состоят из двух важнейших частей:

• выбора направления,
• выбора шага в данном направлении (подбор коэффициента обучения).

Методы одномерной оптимизации дают эффективный способ для выбора шага.

В простейшем случае коэффициент обучения фиксируется на весь период оптимизации. Этот способ практически используется только совместно с методом наискорейшего спуска. Величина подбирается раздельно для каждого слоя сети по формуле

где

обозначает количество входов -го нейрона в слое.

Более эффективный метод основан на адаптивном подборе коэффициента

с учетом фактической динамики величины целевой функции. Стратегия изменения значения определяется путем сравнения суммарной погрешности на -й итерации с ее предыдущим значением, причем рассчитывается по формуле

Для ускорения процесса обучения следует стремиться к непрерывному увеличению

при одновременном контроле прироста погрешности по сравнению с ее значением на предыдущем шаге. Незначительный рост погрешности считается допустимым.

Если погрешности на

-1-й и -й итерациях обозначить соответственно и , а коэффициенты обучения на этих же итерациях — и , то значение следует рассчитывать по формуле

где

- коэффициент допустимого прироста погрешности, - коэффициент уменьшения

- коэффициент увеличения

.

Наиболее эффективный, хотя и наиболее сложный, метод подбора коэффициентов обучения связан с направленной минимизацией целевой функции в выбранном направлении

. Необходимо так подобрать значение , чтобы новое решение соответствовало минимуму целевой функции в данном направлении .

Поиск минимума основан на полиномиальной аппроксимации целевой функции. Выберем для аппроксимации многочлен второго порядка

где

, и — коэффициенты, определяемые в цикле оптимизации. Для расчета этих коэффициентов используем три произвольные точки , лежащие в направлении , т.е.

Соответствующие этим точкам значения целевой функции

обозначим как

(5)

Коэффициенты

, и

рассчитываются в соответствии с решением системы уравнений (5).
Для определения минимума многочлена

его производная приравнивается к нулю, что позволяет получить . После подстановки выражений для в формулу для получаем






Содержание раздела

---

---