Нейрокомпьютерные системы



              

Константа Липшица сигмоидальной сети


Рассмотрим слоистую сигмоидальную сеть (сеть с сигмоидальными нейронами) со следующими свойствами:

  1. Число входных сигналов -
    n_0
    .
  2. Число нейронов в
    i
    -м слое -
    n_i
    .
  3. Каждый нейрон первого слоя получает все входные сигналы, а каждый нейрон любого другого слоя получает сигналы всех нейронов предыдущего слоя.
  4. Все нейроны всех слоев имеют одинаковые функции активации
    f(x) = 1/(1+e^{-\beta\chi})
    .
  5. Все синаптические веса ограничены по модулю единицей.
  6. В сети
    m
    слоев.

В этом случае оценка константы Липшица сети равна:

 \begin{equation} \Lambda_n \le \beta^m(n_0n_m)^{1/2} \prod_{i=1}^{m-1} n_i \end{equation}

(2)

Формула (2) подтверждает экспериментально установленный факт, что, чем круче характеристическая функция нейрона (т.е. чем больше

\beta
), тем более сложные функции (функции с большей константой Липшица) может аппроксимировать сеть с такими нейронами.




Содержание  Назад  Вперед