Нейрокомпьютерные системы



              

Учет ограничений при обучении


Для параметров сети возможны ограничения простейшего вида:

 \begin{align*} w_{i\min} \le w_i \le w_{i\max}. \end{align*}

Они вводятся из различных соображений: чтобы избежать слишком крутых или, наоборот, слишком пологих характеристик нейронов, чтобы предотвратить появления слишком больших коэффициентов усиления сигнала на синапсах и т.п.

Учесть ограничения можно, например, методом штрафных функций либо методом проекций:

  • Использование метода штрафных функций означает, что в оценку
    E

    добавляется штрафы за выход параметров из области ограничений. В~градиент

    E
    вводятся производные штрафных функций.
  • Проективный метод означает, что если в сети предлагается изменение параметров
    w_i\colon = W_i
    и
    W_i
    для некоторых
    i
    выходит за ограничения, то следует положить

 \begin{align*} w_i\colon = \left \{ \begin{array}{rcl} W_i,\quad \mbox{ если }& w_{i\min} \le W_i \le w_{i\max}\\ w_{i\max},\quad \mbox{ если }& W_i > w_{i\max}\\ w_{i\min},\quad \mbox{ если }& W_i < w_{i\min}\\ \end{array} \right. \end{align*}

Практика показывает, что проективный метод не приводит к затруднениям. Обращение со штрафными функциями менее успешно. Далее будем считать, что ограничения учтены одним из методов, и будем говорить об обучении как о безусловной минимизации.




Содержание  Назад  Вперед