2.9. Функциональные заблуждения

<ПЕРЦЕПТРОН>

<РАНЕЕ>    <HOME>

2.9.    Функциональные заблуждения

        Большинство функциоальных заблуждений связаны с терминологическими заблуждениями, и сводятся к невозможности решения задачи нелинейного разделения. Есть варианты.

№ 1. Перцептрон не способен решить задачу XOR.

        Функция булевой алгебры XOR, иначе называемая ИСКЛЮЧАЮЩЕЕ ИЛИ (сумма по модулю 2) - двухместная функция, описываемая следующей таблицей:

• x₁ x₂   y
• 0  0    0
• 0  1    1
• 1  0    1
• 1  1    0

        Примем x₁ и x₂ за координаты x и y плоскости вещественных чисел. Значения «0» «1» выхода функции, обозначим белыми и чёрными точками на плоскости соответственно. Невозможно провести на плоскости прямую так, чтобы на каждой полуплоскости оказались бы точки только одного цвета. Такая задача считается «линейно не различимой» («не разделимой»).

        Однако, двухслойная сеть логически элементов легко решает эту задачу.  Двухслойная же нейронная сеть элементарно обучается её решению, например, методом обратного распространения ошибки. Необучаемый слой A –элементов перцептрона, со случайными значениями весов,  за счёт массовости тоже, скорее всего, выдаст одному из R –элементу требуемые возбуждающие сигналы.

        Заблуждение возникает из-за неправильной интерпретации определения перцептрона, как однослойной сети. Минский приравнивает выходы предикатов слоя A ко входам перептрона. Однако, предикат эквивалентен входу, только если  зависит от одного аргумента. Другая причина возникает из-за того, что перцептрон путают с пороговым элементом Маккалока-Питса.

№ 2. Выбором случайных весов можно достигнуть обучения и линейно нера­­зделимой (вообще, любым) задачи, но только если повезет, и в новых переменных (выходах A-нейронов) задача окажется линейно разделимой. Но может и не повезти.

        Теорема сходимости Розенблатта ОДНОЗНАЧНО доказывает, что не может быть ни какого «может и не повезти». При равенстве числа  А-элементов числу стимулов и неспецифической начальной S-A матрице вероятность решения адачи 100 %. То есть, при отображении рецепторного поля на ассоциативное поле большей на одну размерность случайным (нелинейным) оператором, нелинейная задача превращается в линейно разделимую. А следующий обучаемый слой уже находит линейное решение в другом пространстве входов.

№ 3. Если у Вас в задаче размерность входов довольно высока, а обучающих примеров мало, то в таком «слабозаполненном» пространстве число удач может и не оказаться малым. Это свидетельствует лишь о частном случае пригодности перцептрона, а не его универсальности.

Данный аргумент легко проверить на тестовой задаче под названием «шахматная доска» или «губка с водой»:

Дана цепочка из 2N единиц или нулей. Если эта цепочка является зеркально симметричной относительно центра, то есть x_i = x_2N-i-1, то на выходе 1. Иначе 0." Обучающие примеры все (это важно) 2²^N цепочек.

Могут быть вариации данной задачи :Имеем изображение 256х256 пикселей 2х цветов. Обучаем перцептрон всем возможным состояниям, то есть на вход подаем последовательно координаты x, y и требуем на выходе соответствующий цвет точки. В итоге имеем 65536 различных пар стимул-реакция. Берем изображение такого типа — Если либо x нечетное (0..255), либо y нечетное (но не одновременно), то цвет 1. Иначе — цвет 0. Обучить без ошибок.

Если данный аргумент справедлив, то перцептрон не сможет ни при каких условиях обучиться, не делая ни одной ошибки. Иначе перцептрон не ошибется ни разу.

На практике оказывается, что данная задача очень проста для перцептрона: чтобы ее решить, перцептрону достаточно 1500 А-элементов (вместо полных 65536, необходимых для любой задачи). При этом число итерациий порядка 1000. При 1000 А-элементов перцептрон не сходится за 10000 итераций. Если же увеличить число А-элементов до 40000, то схождения можно ожидать за 30-80 итераций.

№ 4. В перцептроне Розенблатта столько А-элементов, сколько входов. И сходимость по Розенблатту, это стабилизация весов.

Нет. Это следует из следствия теоремы сходимости.

Следствие 2. Если число стимулов в пространстве Ф равно n>N (то есть больше числа А-элементов элементарного перцептрона), то существует некоторая классификация С(Ф), для которой решения не существует.

Отсюда должно быть ясно, что:

1. У Розенблатта число А-элементов равно числу стимулов (обучающих примеров), а не числу входов.

2. Сходимость по Розенблатту, это не стабилизация весов, а наличие всех требуемых классификаций, то есть по сути, отсутствие ошибок.

<ДАЛЕЕ>