2.6. Алгоритмы обучения

<ПЕРЦЕПТРОН

<РАНЕЕ>    HOME>

Считаем, что мы хотим научить перцептрон разделять два класса объектов, и потребуем, чтобы при предъявлении объектов первого класса выход перцептрона был положителен, а при предъявлении объектов второго класса — отрицательным.

Начальные коэффициенты устанавливаем случайным образом. Далее, предъявляем обучающую выборку: объекты (например, круги либо квадраты) с указанием класса, к которым они принадлежат. Показываем перцетрону объект первого класса. При этом некоторые A — элементы возбудятся. Коэффициенты , соответствующие этим возбужденным элементам, увеличиваем на 1. Затем предъявляем объект второго класса, и коэффициенты тех A — элементов, которые возбудятся при этом показе, уменьшаем на 1. Этот процесс продолжим для всей обучающей выборки. В результате обучения сформируются значения весов связей. Метод обучения относится к группе методов «обучение с учителем».

Классический метод обучения перцептрона — это обучение с коррекцией ошибки.

Коррекция ошибки представляет собой метод обучения, при котором вес связи сохраняется неизменным, пока текущая реакция перцептрона остается правильной. При неправильной реакции, вес изменяется на единицу, Знак изменения (+/-) устанавливается противоположным от знака ошибки.

В такой формулировке, метод ориентирован на так называемые «целочисленные перцептроны». То есть на перцептроны, все численные параметры которых имеют целочисленное значение.

Розенблатт пытался классифицировать различные алгоритмы обучения, называя их системами подкрепления. В результате он различал следующие виды:

• Положительное подкрепление – представляет собой такой процесс подкрепления связи I-го и j-го элементов, при котором вес связи, начинающейся на активном элементе u_i и оканчивающейся на элементе u_j, изменяется на величину r, знак которой совпадает со знаком сигнала u^*_j
• Отрицательное подкрепление — представляет собой такой процесс подкрепления, при котором вес связи, начинающийся на активном элементе u_i  и оканчивающийся на элементе u_j, изменяется на величину r, знак которой противоположен знаку сигнала u^*_j.

Кроме классического метода обучения перцептрона, Розенблатт также ввел понятие об

обучении без учителя, предложив следующий способ обучения:

Перцептрон, использующий альфа-систему подкрепления, называется альфа-перцептроном.

Описывая эти системы подкрепления, Розенблатт основывался на идеях Хебба об обучении, уточняя различные возможные виды. Затем, с появлением многослойного перцептрона, оно было модифицировано и его стали называть дельта-правило. Модификация была проведена, с целью сделать функцию обучения дифференцируемой, что в свою очередь нужно для применения метода градиентного спуска, благодаря которому и возможно обучение более чем одного слоя. При этом пришлось отказаться от бинарного сигнала, и пользоваться вещественными числами.

<ДАЛЕЕ>