Нейрокомпьютерные системы



              

Оценка способности сети решить задачу


В данном разделе рассматриваются только сети, все элементы которых непрерывно зависят от своих аргументов. Предполагается, что все входные данные предобработаны так, чтобы все входные и выходные сигналы сети лежали в диапазоне приемлемых входных сигналов

[a,b]
.

Нейронная сеть вычисляет некоторую вектор-функцию

F
от входных сигналов. Эта функция зависит от параметров сети. Обучение сети состоит в подборе такого набора параметров сети, чтобы величина

 \sum_{i,p}[F_i(x^p) - f_i^p]^2

была минимальной (в идеале равна нулю), здесь

\{f_i\}
- множество аппроксимируемых функций. Для того, чтобы нейронная сеть могла хорошо приблизить заданную таблично функцию
f
, необходимо, чтобы реализуемая сетью функция
F
при изменении входных сигналов с
x^i

на

x^j
могла изменить значение с
f^i
на
f^j
. Очевидно, что наиболее трудным для сети должно быть приближение функции в точках, в которых при малом изменении входных сигналов происходит большое изменение значения функции. Таким образом, наибольшую сложность будет представлять приближение функции
f
в точках, в которых достигает максимума выражение
\|f^i - f^j\|/||x^i - x^j\|.
Для аналитически заданных функций величина

 sup_{x,y} (\|f(x) - f(y)\|/\|x - y\|)

называется константой Липшица. Исходя из этих соображений, можно дать следующее определение сложности задачи.

Сложность аппроксимации таблично заданной функции

f
, которая в точках
x^i
принимает значения
f^i
, задается выборочной оценкой константы Липшица, вычисляемой по формуле:

 \begin{equation} \Lambda_t = \max_{i \neq j} (\|f(x^i) - f(x^j)\|/\|x^i - x^j\|) \end{equation}

(1)

Оценка (1) является оценкой константы Липшица аппроксимируемой функции снизу.

Константа Липшица сети вычисляется по следующей формуле:

 \Lambda_n = sup_{x,y} (\|F(x) - F(y)\|/\|x - y\|)

Для того, чтобы оценить способность сети заданной конфигурации решить задачу, необходимо оценить константу Липшица сети и сравнить ее с выборочной оценкой (1). В случае

\Lambda_n < \Lambda_t
сеть принципиально не способна решить задачу аппроксимации функции
f
. Однако из
\Lambda_n \ge \Lambda_t
еще не следует утверждение о способности сети аппроксимировать функцию
f!




Содержание  Назад  Вперед