Нейрокомпьютерные системы



              

Методы инициализации весов - часть 2


Удаление стартовой точки активации нейронов от зоны насыщения достигается путем ограничения диапазона случайных значений. Почти все оценки нижней и верхней границ диапазона допустимых значений лежат в интервале (0,1). Хорошие результаты дает равномерное распределение весов, нормализованное для каждого нейрона по амплитуде

w_{in} = 2/(n_{in})^{1/2}
, где
n_{in}
означает количество входов нейрона. Веса порогов для нейронов скрытых слоев должны принимать случайные значения из интервала
(-1/w_{in}, 1/w_{in})
, а для выходных нейронов - нулевые значения.




Содержание  Назад  Вперед