Нейрокомпьютерные системы



              

Особенности задачи оптимизации, возникающей при обучении нейронных сетей


Задачи оптимизации нейронных сетей имеют ряд специфических ограничений. Они связаны с огромной размерностью задачи обучения. Число параметров может достигать

10^8
и более. В простейших программных имитаторах на персональных компьютерах подбирается
10^3
-
10^4
параметров. Из-за высокой размерности возникают два требования к алгоритму:

  1. Ограничение по памяти. Пусть
    n
    - число параметров. Если алгоритм требует затрат памяти порядка
    n^2
    , то он вряд ли применим для обучения. Желательно иметь алгоритмы, которые требуют затрат памяти
    kn, k=const
    .
  2. Возможность параллельного вычисления наиболее трудоемких этапов алгоритма, и желательно нейронной сетью.
  3. Обученный нейрокомпьютер должен с приемлемой точностью решать все тестовые задачи. Поэтому задача обучения становится многокритериальной задачей оптимизации: нужно найти точку общего минимума большого числа функций. Обучение нейрокомпьютера исходит из гипотезы о существовании этой точки.
  4. Обученный нейрокомпьютер должен иметь возможность приобретать новые навыки без утраты старых. Возможно более слабое требование: новые навыки могут сопровождаться потерей точности в старых, но потеря не должна быть существенной. Это означает, что в достаточно большой окрестности найденной точки общего минимума оценок их значения незначительно отличаются от минимальных. Итак, имеем четыре специфических ограничения, выделяющих обучение нейрокомпьютера из общих задач оптимизации:
  • астрономическое число параметров;
  • необходимость высокого параллелизма при обучении;
  • многокритериальность решаемых задач;
  • необходимость найти достаточно широкую область, в которой значения всех минимизируемых функций близки к минимальным.




Содержание  Назад  Вперед