20_1 Стабильность – пластичность

Адаптивная резонансная теория

<РАНЕЕ>                                   <HOME>

20.1.  Стабильность – пластичность

        Пара понятий стабильность–пластичность для теории нейросетей значит примерно столько же, что и пары сила-плечо в механике, положеие-ипульс в соотношении неопределенности Гейзенберга ( dp >= h/dx), скорость-точность в теории автоматического управления. Рост показателя одной величины связан с уменьшением характеристики другой величины.

        Стабильность характеризует возможность сохранения запомненных сетью образов при предъявлении новых, или просто при эксплуатации сети. Пластичность говорит о возможности научить обученную ранее сеть новым образам. В рассмотрены ранее сетях, новый образ разрушает введённые ранее, а попытки их стабилизировать делают сеть необучанемой.

        Традиционные искусственные нейронные сети оказались не в состоянии решить проблему стабильности - пластичности. Очень часто обучение новому образу уничтожает или изменяет результаты предшествующего обучения. В некоторых случаях это не существенно. Если имеется только фиксированный набор обучающих векторов, они могут предъявляться при обучении циклически. Рассмотренные на предыдущих лекциях нейронные системы не адаптированы к решению этой задачи.

         Так, например, многослойный персептрон, обучающийся по методу обратного распространения, запоминает весь пакет обучающей информации, при этом образы обучающей выборки предъявляются в процессе обучения многократно. Попытки затем обучить персептрон новому образу приведут к модификации синаптических связей с неконтролируемым разрушением структуры памяти о предыдущих образах. Таким образом, персептрон не способен к запоминанию новой информации, и необходимо полное переобучение сети.

        Аналогичная ситуация имеет место и в сетях Кохонена и Хемминга, обучающихся на основе самоорганизации. Данные сети всегда выдают положительный результат при классификации. Тем самым, эти нейронные сети не в состоянии отделить новые образы от искаженных или зашумленных версий старых образов. В реальной ситуации сеть будет подвергаться постоянно изменяющимся воздействиям; она может никогда не увидеть один и тот же обучающий вектор дважды. При таких обстоятельствах сеть, скорее всего, не будет обучаться; она будет непрерывно изменять свои веса, не достигая удовлетворительных результатов.

        Были приведены примеры сети с четырьмя обучающими векторами. При циклическом их предъявлении, веса сети непрерывно изменяться, никогда не сходясь к фиксированным значениям. Такая временная нестабильность явилась одним из главных факторов, заставивших Гроссберга его сотрудников исследовать радикально отличные конфигурации. Адаптивная резонансная теория(APT) является одним из результатов исследования этой проблемы.

        В человеческом мозге выделяется важная информация, обрабатывается и сохраняется в такой форме, что ранее запомненные не модифицируются и не забываются. Каким образом память остается пластичной, способной к восприятию новых образов, и в то же время сохраняет стабильность, гарантирующую, что образы не уничтожатся и не разрушатся в процессе функционирования?

        Проблема стабильности - пластичности является одной из самых сложных и трудно решаемых задач при построении искусственных систем. Живые организмы бессознательно оценивают, является ли образ "новой" информацией и нужно создавать новый образ. Иначе, это лишь вариант уже знакомой картинки, и нужно совершенствовать известный образ. Восприятие одновременно пластично, чувствительнj к новой информации, и стабильно, то есть не разрушает память о старых образах.

<ДАЛЕЕ>