Методы инициализации весов - часть 2

Удаление стартовой точки активации нейронов от зоны насыщения достигается путем ограничения диапазона случайных значений. Почти все оценки нижней и верхней границ диапазона допустимых значений лежат в интервале (0,1). Хорошие результаты дает равномерное распределение весов, нормализованное для каждого нейрона по амплитуде

$w_{in} = 2/(n_{in})^{1/2}$

, где

$n_{in}$

означает количество входов нейрона. Веса порогов для нейронов скрытых слоев должны принимать случайные значения из интервала

$(-1/w_{in}, 1/w_{in})$

, а для выходных нейронов - нулевые значения.

Содержание Назад Вперед