Текст книги "Алгоритмы разума"

Автор книги: Николай Амосов

сообщить о нарушении

Текущая страница: 4 (всего у книги 17 страниц)

Виды и механизмы памяти

Понятие модели неотделимо от структуры памяти так же, как и от механизмов восприятия. На рис. 1, 2 были показаны два варианта ИИ. Их основное отличие – в носителях памяти, которыми определяются различия в действиях с моделями.

Слово «память» имеет два значения. С одной стороны, это явление, феномен фиксации модели в результате восприятия объекта рецепторами. С другой – это сами запечатленные модели. В последнем случае первостепенную роль играет носитель памяти.

Основной параметр всякой памяти – длительность запоминания. Наиболее короткая память у рецепторного элемента: она длится ровно столько времени, сколько необходимо для накопления энергии, нужной, чтобы выдать в мозг один импульс. В этот момент рецептор освобождается для нового восприятия энергии, его память мгновенная.

На рис. 1, 2 выделен блок запоминания первичной модели ПM – на время, пока она распознается и по ней активируется распознанная модель РМ, которая в свою очередь используется для выбора моделей действия МД. Память для всех этих моделей естественно назвать активной, кратковременной или оперативной в противоположность длительной памяти – основному хранилищу моделей. Возможен и третий вид памяти – «внешняя», находящаяся вне «мозга», вне интеллекта (например, собственные записи, рисунки, которые можно повторно привлекать к использованию). Деление памяти на такие виды условно, но необходимо. В СИ активная и длительная память совмещена на одних сетевых элементах, в АИ массивы памяти совершенно различны.

Рис. 14. Схема запоминания последовательности звуков. Возбужденные нейроны «рецепторного поля» заштрихованы.

Характер первичной модели, отражающей трехмерную структуру, был показан на рис. 13. В моделях из длительной памяти структура фона очень неясная и обобщенная, выделяется только фигура. Для алгоритма важны параметры модели и ее частей. Они следующие: активность определяется яркостью объекта, настройкой и напряжением рецептора, четкость – фокусированием рецептора. Расстояние до рецептора для главной фигуры отмечается точно, а для «фона» – приблизительно. Степень обобщенности модели и ее деталей зависит от параметров настройки, расстояния до рецептора и помех.

В СИ мгновенная первичная модель остается в кратковременной памяти наряду с распознанной моделью. В АИ она перекодируется цифровым кодом, который должен отразить все параметры каждого объекта и их пространственных отношений. Именно это и представляет самую трудную задачу для моделирования интеллекта.

Модель во временной памяти выступает как единое целое, следовательно, между ее возбужденными элементами сразу же должны устанавливаться связи, хотя бы тоже временные. Для примера на рис. 14 показана схема запоминания последовательности из семи звуков, составляющих слово. Память на слова есть у высших животных и птиц. По горизонтали отмечены номера условных тактов времени, по вертикали – номера однородных элементов, последовательно соединяемых с одним и тем же рецептором в каждый такт времени. В первый такт возбужден рецептор 1, во второй такт – рецептор 3, в третий такт – снова рецептор 1 и т.д. Модель станет действовать как единое целое только в том случае, если последовательно активируемые элементы (на рисунке они заштрихованы) в течение семи тактов будут соединены связями и сохранят активность все вместе по крайней мере на время от первого до седьмого такта. Без такого условия – это лишь разрозненные точки, не составляющие единой модели как действующей единицы информации. Отсюда, однако, следует, что каждый рецепторный элемент должен иметь связь со многими элементами «рецепторного поля» и соединяться с ними последовательно, всякий раз с новыми. Это не вызывает особых затруднений для случая, рассмотренного в нашем примере, где один звук соответствует одному элементу в каждый такт. А как обстоит дело, если мы воспринимаем не последовательность звуков, а, скажем, зрительную картину, то есть множество взаимосвязанных объектов. Тут нужны уже не столбцы элементов, а «кадры», которые будут мысленно прокручиваться наподобие киноленты. И сколько же связей нужно установить между возбужденными (яркими) точками кадров!

К сожалению, что-нибудь другое предположить трудно. Можно представить, что энергия с рецептора подается все время на один и тот же, «свой» элемент временной памяти. Допустим, что в следующий момент активируется другой элемент от другого рецептора и между ними устанавливается связь. К следующему моменту первый и второй элементы уже утратили активность, но связь «запомнилась» и т.д. Предположение еще менее вероятное, потому что в таком случае нужны специальные механизмы памяти, отмечающие последовательность возбуждения элементов, чтобы, к примеру, иметь возможность повторить слово. Но для такого «счетчика адресов» тоже нужны структуры.

Память человека действительно обширна. Есть люди, которые могут прочесть наизусть поэму «Евгений Онегин». Но мало таких, которые способны повторить в точности длинное стихотворение после одного прослушивания. Это значит, что «кадры» временной памяти постепенно освобождаются и, таким образом, становятся способными снова запоминать новые модели. Правда, они освобождаются не совсем, кое-что переходит в постоянную память, но очень немногое, если сравнить объем информации, который мы воспринимаем ежедневно, и то, что из него остается в постоянной памяти. Как правило, мы запоминаем из воспринятого только то, что потом многократно мысленно повторяем.

Гипотеза о механизмах памяти

Трудно предложить гипотезу о механизмах памяти, пригодную для алгоритма интеллекта. Попробую изложить свою попытку. Для обозначения моделей и их сочетаний я буду пользоваться следующими заимствованными из лингвистики терминами. «Буква» – элементарная модель, самый малый значимый признак. «Алфавит» – совокупность буквмоделей, формируемых одним типом рецепторов; «алфавитов» может быть много: световые, звуковые и др. (см. ниже) «Слово» – более сложная модель, состоящая из элементарных моделей, то есть «букв», но очень хорошо организованная и выступающая как одно целое. «Фраза» – соединение «слов», чаще всего временное и непрочное. «Буква обобщенности» —знак, указывающий уровень обобщения моделей, их место в «иерархии блочности».

Модели и ансамбли нейронов. У человека в коре очень много нейронов, их количество оценивают в 10 и более миллиардов. Каждый нейрон соединяется с многими сотнями других. Таким образом, имеются почти беспредельные возможности для образования структур из нейронов, объединенных проходимыми («проторенными») связями. Такие структуры – нейронные ансамбли – могут выступать в качестве моделей объектов внешнего мира. Один нейрон может включаться в несколько ансамблей, как это показано на рис. 15. Модель повторно возбуждается («вспоминается»), если возбудится некоторый процент входящих в ее ансамбль нейронов. Почему не возбуждаются все нейроны коры. Ведь связей между ними вполне достаточно. Чтобы ответить на этот вопрос, нужно сделать еще одно предположение: когда один нейрон возбуждается, соседние тормозятся. Этот принцип «индуктивного торможения» установлен И. П. Павловым. Таким образом, если допустить, что 30% нейронов данной модели возбудятся извне, то все окружающие должны бы затормозиться. Так и происходит, но связи к остальным 70% нейронов данной модели настолько проторены, что эти нейроны больше возбуждаются по связям, чем тормозятся «по площади». В результате активируется весь ансамбль, вся модель, а другие модели остаются заторможенными, несмотря на то что часть возбужденных в данной модели нейронов входит и в них. Такова гипотеза об ансамблях нейронов.

Рис. 15. Нейронные ансамбли.

Для проверки этой гипотезы сотрудниками отдела биокибернетики разработан макет нейронной сети, содержащий 22 узла и наборное поле, которое позволяет осуществлять все возможные соединения между узлами. Узлы (модели нейронов) представляют собой усилители постоянного тока с нелинейной (S-образной) характеристикой. В качестве связей использованы постоянные резисторы. Вес связи считается обратно пропорциональным сопротивлению резистора.

Макет создавался для получения ответа на следующие основные вопросы:

– можно ли технически реализовать устойчиво работающую сеть из нейронных ансамблей так, чтобы при возбуждении одного ансамбля не возбуждались одновременно и другие, связанные с ним; – можно ли построить устойчивую сеть, если ансамбли пересекаются, то есть одни и те же узлы входят в состав различных ансамблей; – можно ли добиться четкого перехода возбуждения с одного ансамбля на другой, если они пересекаются значительной частью своих узлов.

Эксперименты с макетом дали положительные ответы на все эти вопросы. Оказалось, однако, что для успешной работы необходимо использовать централизованную систему, управляющую активностью всей сети. По своим свойствам и назначению эта система аналогична системе усиления-торможения (СУТ), которая подробно будет описана ниже. Следует отметить, что многие исследователи, пытавшиеся построить устойчивую ансамблевую сеть без централизованной системы управления активностью, встретились с большими трудностями и вынуждены были накладывать жесткие ограничения на допустимую структуру сети.

На макете было также показано, что устойчиво работающая ансамблевая сеть может иметь число ансамблей, превышающее число узлов сети. Поэтому в некоторых задачах, используя ансамблевые сети, можно получить более экономную аппаратурную реализацию. С увеличением числа узлов эта экономия становится все более ощутимой. К сожалению, построение ансамблевых сетей большого объема связано пока со значительными трудностями.

Устройство «рецепторного поля». На рис. 16 показана гипотетическая схема «рецепторного поля», объясняющая принцип совмещения временной и постоянной памяти. Такое совмещение, несомненно, имеет место в коре мозга.

Система рецепторов Рц подает активность на «рецепторное поле», состоящее из довольно большого количества кадров, построенных так, что в каждом из них имеются представительства – элементы для каждого рецептора. Для удобства понимания кадры расположены в виде кольца. Число кадров значительное, но не бесконечное. Предположим, что есть переключатель в центре кольца, который или поворачивает его на один кадр в каждый такт времени, или поочередно переключает связи от рецепторов с одного кадра на другой, соседний. Имеется настройка кадров Я, обеспечивающая фокусирование, то есть позволяющая им четко воспринимать избранную деталь и неясно видеть весь объект. Она же передвигает фокус по структуре объекта. Еще одно условие: настройка «устает», поэтому после нескольких тактов рецептор отключается совсем.

Рис. 16. Схема «рецепторного поля»: Рц – рецепторы, Н – настройка.

Рис. 17. Система моделей разной степени обобщенности, отражающая объект.

Характеристики затухания активности элементов очередного кадра после отключения от них рецептора имеют вид, показанный на рис. 8. Затухание активности в самом первом кадре происходит раньше, чем завершится полный круг переключения.

Картины, представленные в кадрах, показаны на рис. 17. В первый такт времени система рецепторов при отсутствии фокусировки неясно воспринимает объект как целое, и он отражается в виде наиболее обобщенной модели (рис. 17, а). Между активированными элементами возникают связи. Предположим, что объект «заинтересовал» интеллект (об этом – ниже), тогда в следующий такт, приходящийся на следующий кадр, зрением, умеренно сфокусированным на верхнем левом углу, преимущественно воспринимается часть объекта, обозначенная цифрой 1. Создается временная модель этой части, представляющая собой не очень четкое воспроизведение последней при обобщении всего остального объекта (рис. 17, б). Затем фокусировка переходит на часть 2, далее на часть 3 объекта, и они отпечатываются в модели. Модели в предыдущих кадрах еще сохраняют активность, и от них проторяются связи к следующему кадру. В каждом кадре на соответствующих элементах отмечаются направление и степень фокусировки всей системы рецепторов (назовем ее «глазом»). После того как настройка на крупные части обойдет их и они отпечатаются на кадрах, структура их расположения вырисуется в «модели-схеме» (рис. 17, в). Вся серия картин, отображенных в кадрах, объединена продольными связями. На этом восприятие может закончиться, но может быть продолжено на следующий цикл, состоящий в еще большей фокусировке (напряжении) «глаза», нацеленной на детальное рассматривание каждого блока с отражением тонких подробностей его структуры, «привязанных» к блоку, а через него – и к общей структуре объекта. На рис. 17, г этому случаю соответствует модель, формирующаяся при восприятии части 1 объекта сильно сфокусированным зрением. Весь процесс рассматривания объекта запечатлевается в серии кадров. В целом – это «фраза» изучения предмета, запечатленная в кадрах рецепторного поля.

Вспоминание, обобщение, забывание

В первое время вся система моделей в серии кадров активна, и если отключить рецепторы, то можно заново их просмотреть с начала до конца, как бы повторив процесс реального изучения, повторно активируя запечатленные образы. Так человек и делает, мысленно повторяя только что услышанную фразу или воссоздавая в воображении процесс рассматривания сложного объекта. Это бывает в том случае, когда объект или фраза заинтересовывает наш разум. При таком повторении связи между элементами проторяются и происходит процесс перехода временной памяти в длительную, поэтому картину еще можно вспомнить некоторое время спустя. При многократном вспоминании связи проторяются сильно и объект может запомниться во всех его деталях. Если же значимость предмета не очень велика и повторения не имеют большой активности, то происходит обобщение, то есть постепенное сокращение модели за счет забывания малозначащих ее частей, которые были неактивны при восприятии или не привлекли интереса во время повторения. Так исчезают из памяти целые кадры.

Рис. 18. Типичная динамическая характеристика связи между элементами А и Б. Повышенная проходимость связи остается после прекращения возбуждения элемента А (заштрихованный участок на оси времени).  – остаточная проходимость связи, определяющая «вклад» связи в постоянную память.

В конце концов может остаться лишь очень обобщенная модель предмета, однако при этом сохраняется воспоминание о самом факте детального изучения объекта, знание о том, что он был изучен подробно. Видимо, это обобщенная модель самого процесса переключения настройки «глаза».

Образ предмета запечатлевается не в одном кадре памяти, а целой их серии, многократно, хотя и с разными деталями. Это соответствует данным физиологии о том, что удаление какой-либо части затылочной области коры не разрушает определенных участков зрительной картины, а просто обедняет ее всю.

Если объект не имел ценности и картина его не вспоминается повторно, то образ совершенно исчезает из памяти, поскольку для проторения первично возникающих связей необходима повторная активация элементов модели. Но, так или иначе, с течением времени происходит закономерное «освобождение» памяти, потому что запомненная картина-модель всегда значительно упрощена по сравнению с воспринимаемой и, следовательно, не занимает все элементы «рецепторного поля».

При восприятии изменяющейся картины рецепторы повторно подключаются к предмету, в результате получается новая серия моделей-кадров, имеющая связи с первой.

В соответствии с этой гипотезой кратковременная и длительная память реализуется на одних и тех же элементах «нейронной сети» в одном рецепторном поле, первая – за счет активности элементов, вторая – за счет развития связей. Переход между ними возможен в виде кратковременной памяти связей. Последняя задается характеристикой изменения проходимости связи во времени по такому же типу, как и характеристика изменения активности элемента, но удлиненной во времени и уменьшающейся не до нуля, а до некоторой остаточной величины, определяющей «вклад» связи в длительную память. При повторном использовании данной связи такие «вклады» (.) накапливаются и определяют прочность памяти (рис. 18). Если модель повторно не возбуждается, то связи не функционируют, и их проходимость уменьшается. Повторная активация модели сопровождается тренировкой ее элементов, что выражается в изменении ее статической и динамической характеристик, а также в повышении уровня спонтанной, собственной «активности покоя» модели.

Рис. 19. Схема постепенного забывания и сокращения модели объекта, первоначально состоящей из серии кадров с разной обобщенностью и детальностью,– линия а. Менее значимые и похожие детали заменяются одной – линия б. Потом остаются только две крайние модели (линия в) и, наконец, лишь одна обобщенная модель г.

На рис. 19 показаны этапы забывания и постепенного сокращения модели, так что в результате остается только несколько обобщенных и связанных с ней «частных» моделей, характеризующих объект лишь в отношении его значимости, то есть полезности.

Разумеется, для того чтобы с помощью элементов одного «рецепторного поля» запоминать все новые и новые модели, нужно допустить наличие большого количества кадров. Кроме того, необходимо предположить торможение моделей как состояние, противоположное активности, возбуждению. Торможение – отрицательная активность, требующая для своего преодоления дополнительной «мощности», идущей по связи от внешнего источника – рецептора или соседнего возбужденного элемента.

О реализации гипотезы

Наша гипотеза предполагает строение «рецепторного поля» в виде сети из элементов с неограниченно большим количеством связей. Примерно такая структура имеет место в коре мозга. Воспроизвести ее техническими средствами пока не представляется возможным, разве что в очень ограниченных пределах, которые едва ли смогут обеспечить демонстративность устройства. Все надежды на алгоритмический интеллект.

В АИ все виды памяти должны существовать раздельно. Время нужно делить на такты и все расчеты активности моделей и проходимости связей осуществлять «ступенчато», от такта к такту. Первый вид памяти в АИ – это картина с рецептора. Она существует очень короткое время и считывается, перекодируется по определенным правилам, которые еще нужно создать. Получается ряд цифр, отражающих как саму структуру объекта, так и перечисленные выше параметры модели. Главный из них – это уровень активности каждого объекта модели картины. Поскольку процесс рассматривания даже неподвижной картины выражается в серии кадров типа показанных на рис. 17, то и цифровое выражение модели объекта будет состоять из нескольких строк цифр, кодирующих каждый кадр восприятия. Связи выразятся адресами кадров. Тогда два-три кадра составят «фразу» – модель объекта во временной памяти. Параметр активности кадра в целом и его отдельных объектов будет понижаться по определенной характеристике, сходной с представленной на рис. 18. По мере отдаления во времени кадры станут «бледнеть», утрачивать детали, так что вся «фраза» будет становиться все короче и короче. Если не произойдет повторного привлечения внимания и активации «фразы», модель сотрется из памяти. Если же активность и связи будут подновляться повторным использованием модели, то через некоторое время, предусмотренное характеристикой, модель перейдет в длительную память вместе со своими связями-адресами. Пересчет активности и связей всех моделей в кратковременной памяти обязателен для каждого такта.

Длительная память в АИ выражена «фразами», перешедшими из кратковременной памяти. Сейчас трудно представить всю организацию массива памяти. Думаю, что он должен состоять из большого числа «словарей фраз», построенных из 2—4 «слов» каждая. Во «фразах» будут широко использоваться обобщенные модели.

В СИ все модели постоянно сохраняют хотя бы минимальную активность, вследствие чего связи между ними постоянно изменяются. Это очень затрудняет воспроизведение СИ на ЦВМ, поскольку с увеличением объема сетей катастрофически возрастает объем расчетов. АИ позволяет уменьшить расчеты за счет удлинения интервалов времени между пересчетами связей массива длительной памяти.

Действия с моделями

Здесь мы рассмотрим только важнейшие действия с моделями. К ним можно отнести действия активации моделей, их сравнения, а также дописывания «фразы» и обобщения моделей.