Глава 3.
Память краткосрочная
и семантическое поле

Цепочка событий, полученная из внешнего мира, сохраняется у нас в голове в виде многоуровневой структуры последовательно связанных нейронов. И в следующий раз, когда мы получаем какое-либо событие из этой цепочки, то сигналы, пробежавшись по ней, восходят к самому верхнему нейрону данной структуры (корню дерева). Этот нейрон является определением (именем) этой цепочки и, как будет показано далее, от него исходят управляющие связи на алгоритмы ответных действий. Так реализуется действие на опережение, необходимое для выживания.

Раз было упомянуто слово «алгоритм», то раскроем подробнее это понятие. Вот - данные из википедии:

«Алгори́тм (лат. al­go­rithmi — от арабского имени математика Аль-Хорезми) — конечная совокупность точно заданных правил решения произвольного класса задач или набор инструкций, описывающих порядок действий исполнителя для решения некоторой задачи. В старой трактовке вместо слова «порядок» использовалось слово «последовательность», но по мере развития параллельности в работе компьютеров слово «последовательность» стали заменять более общим словом «порядок». Независимые инструкции могут выполняться в произвольном порядке, параллельно, если это позволяют используемые исполнители.

Часто в качестве исполнителя выступает компьютер, но понятие алгоритма необязательно относится к компьютерным программам, так, например, чётко описанный рецепт приготовления блюда также является алгоритмом, в таком случае исполнителем является человек (а может быть и некоторый механизм, ткацкий станок, и пр.).»

Как видно, для каждого действия у нас «прописан» в голове четкий алгоритм. И какой из них нам необходим выбирается в зависимости от в каждой конкретной ситуации. Ситуация определяется не иначе как последовательность сигналов на рецепторах, что также можно назвать алгоритмом.

Одним из ответных алгоритмов цепочки-события является копия этой цепочки, в которой связи направлены вниз и выходят, в итоге, либо на мотонейроны соответствующих мышц, либо на свои восходящие копии в нижних слоях. Под алгоритмом имеется в виду то самое параллельное нисходящее дерево, о котором говорилось во второй главе. Из этого следует важный вывод – события могут зацикливаться, двигаясь по кругу рефлекторной дуги. Какое же условие выхода из этого цикла? Чтобы ответить на этот вопрос нам необходимо строить далее модель сети в трехмерном пространстве.

Что если одно событие может входить в состав разных цепочек. А надо сказать, что именно так чаще всего и случается. Например, слог «МА» является составной частью не только слова «МАМА», но множества других слов. Таким образом из одного нейрона может выходить несколько связей на другие нейроны-события.

На рисунке показан пример образования слогов различных гласных с буквой «М». Нейроны, содержащие пары букв, являются определяющими нейронами второго слоя.

Видно, что связи нейрона имеют звездообразную структуру, подобно той, которую мы наблюдаем в биологической нейронной сети. В дальнейшем для лучшего понимания будем использовать горизонтальные и вертикальные проекции срезов восходящей сети, подразумевая постоянное наличие нисходящей копии.

2

Для примера возьмем минимальное поле в 4 нейрона. Возможно 12 комбинаций последовательного соединения из четырех по два, 24 комбинации из четырех по три и 24 комбинации по четыре. Итого, 60 комбинаций из четырех нейронов с учетом последовательности. Необходимо найти подход к решению проблемы так называемого «комбинаторного взрыва», который заключается в том, что число многих комбинаторных объектов, таких как сочетания элементов множества, растет экспоненциально с увеличением их длины.

Для решения этой задачи предлагается следующее:

1. Установить статистический фильтр для снижения числа комбинаций. В сети он может быть представлен неравнозначностью пропускной способности связей или полным их отсутствием. То есть связи возникают только при фактической регистрации на рецепторах конкретной последовательности и укрепляются при каждом повторении.

2. Принцип отбора лучших. После каждого импульса в слое производится выборка нейронов, имеющих максимальный заряд, и именно они и дают следующий импульс.

На рисунке из 60 вариантов комбинации показаны только 10. Допустим, что в нашем примере других комбинаций не возникало. Это можно назвать первым шагом статистического отбора.

Второй шаг заключается в том, что каждая исходящая связь может иметь разную пропускную способность передаваемого сигнала. По аналогии с нервной системой – наиболее развитую систему синаптической связи.

Далее происходит «отбор лучших». К примеру, были активированы нейроны 1 и 3. Соответственно получили заряды нейроны второго уровня 1-2, 1-3, 1-4, 2-3, 3-4. Но нейрон 1-3 получил двойной заряд от нейрона 1 и от нейрона 3. Таким образом, на втором слое он оказался максимально заряженым.

Для запоминания последовательности добавим направленные горизонтальные связи в каждом слое:

В нашем случае нейрон 1:3 даст заряд в своем слое на нейрон 3:4, который ранее также получал заряд от нейрона 3. Таким образом при получении только двух сигналов мы сможем сделать предположение о дальнейшем развитии событий на основе статистических данных.

А теперь посмотрим куда пойдет сигнал от активированного нейрона 1:3:4. В первую очередь он уйдет на свою нисходящую копию и далее по такой же цепи в той же последовательности выйдет через эффекторы на те же рецепторы. Ведь во время прохождения импульса по узлам восходящего дерева каждый узел заряжал свою копию в нисходящем. Образуется замкнутый цикл. Условием выхода из этого цикла может быть:

1. Недостаточная сила импульса нейрона 1:3:4.

2. Возникновение продолжения цепочки от нейрона 4 и, соответсвенно от 1:3:4. При этом активируется следующий в цепи нейрон, а нисходящая копия остается неактивированной.

Подробнее об этом механизме будет сказано в главе «Внимание и раздражение».

3

Исходя из приведенных выше принципов организации и условий функционирования модели, можно выявить еще одну возможность коррекции последовательности возбуждения нейронов. Основывается она на том, что нейроны, повысившие от ранее поступивших импульсов свой внутренний уровень заряда и при этом не активированые, могут иметь преимущество перед нейронами, на которые приходят более сильные связи. Пример такой корекции изображен на рисунке.

Пояснение: Нейрон 1 дает импульс I =1, который передается по связям, имеющим пропускную способность k. Каждый нейрон имеет свой внутренний заряд z, при этом у нейрона 3 он выше, чем у остальных, т.к. предположим, что ранее он получал заряд по возможным другим связям. Таким образом, нейроны 2, 3, 4 изменяют внутренний заряд по формуле zизм = z+(I*k). Соответственно z2 = 1; z3 = 1,3; z4 = 0,8. Как видно, следующим активируется нейрон 3, несмотря на то, что связь 1-2 имеет большую пропускную способность.

Нейроны могут иметь свой внутренний уровень заряда. Время хранения такого заряда может и должно иметь ограниченную величину. Можно предположить, что именно эта функция сети определяет такое понятие, как кратковременная память.

Эта способность дает нам возможность поддержки семантического поля. То есть действовать в контексте каких-либо событий.

Для наглядности возьмем пример из жизни. Некий ребенок Ваня знает, что папа его друга Миши работает в магазине, а папа девочки Тани в офисе. И когда его друзья скажут ему фразу: «Мой папа пошел на работу», то он будет знать куда именно чей папа пошел. Заметьте, что фраза, которую он услышал, состоит из одних и тех же слов. Разница лишь в том, кто ее сказал. Каким образом Ваня сразу понял кто куда пойдет?

В описываемой здесь модели это выглядит так. От нейрона «ПАПА» исходит множество связей – на «МОЙ», «МИШИ», «ТАНИ» и др. Каждая такая пара образует ассоциирующий нейрон. Например «ПАПА МИШИ». От него образуется соответствующая цепочка – «ПАПА МИШИ РАБОТАЕТ В МАГАЗИНЕ».

Ваня слышит слово «ПАПА», при этом видит Мишу, и в его голове срабатывают два нейрона - «ПАПА» и «МИША». Они заряжают нейрон «ПАПА МИШИ», от которого идет цепочка на «МАГАЗИН».

4

Это - простой пример поддержки контекста. Здесь мы применили уже не буквы, а слова. Но на один нейрон могут быть записаны и целые фразы. В русском алфавите 33 буквы. Пассивный словарный запас выпускника школы около 50 000 слов (включая производные), а выпускника университета – около 80 000. Эти слова можно записать с помощью букв. Можно предположить, что из каждого нейрона-буквы должно выходить 32 связи на все возможные другие буквы. Да и слова составляются из повторяющихся частей – приставок, корней, суффиксов, окончаний. Одна часть слова связана множеством аксонов с другими словами. Надо отметить, что принцип организации слова из частей в нашей сети такой же, как и для любых цепочек событий. Но все равно возникает вопрос – как добиться четкого и несбивчивого прохождения импульса по деревьям нашей нейронной сети при таком огромном переплетении связей, как достичь четкости воспроизведения цепочек?

Для этого требуется целый ряд правил, часть из которых была упомянута раньше. Немного забегая вперед, перечислим их все:

1. Связи должны иметь неравномерную пропускную способность.

2. В каждом слое активируется нейрон, который имеет наибольший заряд из всех нейронов слоя.

3. Установлен минимальный порог активации (минимальное значение заряда нейрона, при котором он способен дать импульс), многократно превышающий значение одиночного импульса.

4. Нейроны, получившие заряд, но не активированные, сохраняют этот заряд в течение ограниченного времени.

5. Заряды, многократно принимаемые нейроном по одной связи, суммируются с понижающим коэффициентом.

6. Между взаимоисключающими нейронами (понятиями) устанавливается тормозящая (понижающая заряд) связь.

Эти правила, относящиеся к распознаванию, тесно связаны с такими функциями, как изучение объектов и выбор ответного действия.

Еще одну идею о строении сети я хотел вынести в отдельную главу, но пока она недостаточно проработана и поэтому скажу о ней кратко. Основана она на том, что рецепторы какого-либо рецепторного поля сформированы из повторяющихся небольших групп разных по функциональности отдельных рецепторов, будь то сетчатка глаза или поверхность кожи. Эти группы рецепторов-нейронов образуют модули, которые могут выше по сети восприниматься как один нейрон, давая возможность ориентироваться в пространстве без конкретизации. И таких уровней может быть несколько. Чтобы лучше понять, о чем идет речь, приведу пример – мы всегда можем различить силуэт какой-либо фигуры независимо от того, как она раскрашена.

В следующей главе подробнее остановимся на внимании и раздражении – постоянных спутниках взаимодействия.

Опубликовано 23.11.2019