Память ИИ: что заставляет нейронную сеть помнить?

краткое содержание: Используя классическую нейронную сеть, исследователи создали новую модель искусственного интеллекта, основанную на недавних биологических открытиях, которые показывают улучшение производительности памяти.

источник: усть

Компьютерные модели являются важным инструментом для изучения того, как мозг создает и хранит воспоминания и другие типы сложной информации. Но создание таких моделей — дело непростое. В некотором смысле симфония сигналов — биохимических и электрических — и клубок связей между нейронами и другими типами клеток создают аппаратное обеспечение для укоренения воспоминаний. Однако, поскольку нейробиологи не полностью понимают основы биологии мозга, кодирование процесса в компьютерную модель для дальнейшего изучения было проблемой.

Теперь исследователи из Окинавского института науки и технологий (OIST) модифицировали широко используемую компьютерную модель памяти, называемую сетью Хопфилда, таким образом, чтобы повысить производительность, вдохновившись биологией. Они обнаружили, что новая сеть не только лучше отражает то, как переплетаются нейроны и другие клетки мозга, но и может хранить значительно больше воспоминаний.

Сложность, добавляемая к сети, делает ее более реалистичной, говорит Томас Бернс, аспирант в группе профессора Томоки Фукаи, который возглавляет отдел нейронного кодирования и вычислений мозга в OIST. «Почему биология может быть такой сложной? Причиной может быть объем памяти», — говорит г-н Бернс.

Сети Хопфилда хранят воспоминания как паттерны взвешенных связей между различными нейронами в системе. Сеть «обучают» кодировать эти паттерны, а затем исследователи могут проверить свою память о них, представив серию нечетких или неполных паттернов и наблюдая, сможет ли сеть распознать их как уже известные.

Однако в классических сетях Хопфилда нейроны в модели взаимодействуют с другими нейронами в сети, образуя ряд так называемых «парных» соединений. Парные соединения представляют собой соединение двух нейронов в синапсе, который является точкой соединения между двумя нейронами в мозгу.

Но на самом деле нейроны содержат сложные ветвящиеся структуры, называемые дендритами, которые обеспечивают множество точек соединения, поэтому мозг полагается на гораздо более сложное расположение синапсов для выполнения своих когнитивных функций. Кроме того, связи между нейронами модифицируются другими типами клеток, называемыми астроцитами.

«Это просто нереалистично, что между нейронами в мозгу существуют только парные связи», — объясняет г-н Бернс.

Он создал модифицированную сеть Хопфилда, в которой могут соединяться не только пары нейронов, но и группы из трех, четырех и более нейронов, как это может происходить в мозге через астроциты и дендритные деревья. Хотя новая сеть допускала эти так называемые «наборные» соединения, она содержала то же общее количество соединений, что и раньше.

Исследователи обнаружили, что сеть со смесью парных и специфических соединений работает лучше всего и сохраняет больше всего воспоминаний. По их оценкам, она работает более чем в два раза лучше, чем традиционная сеть Хопфилда.

«Оказывается, вам действительно нужно несколько функций в некотором балансе», — говорит г-н Бернс. «У вас должны быть отдельные синапсы, но также должны быть дендритные деревья и астроциты».

Сети Хопфилда важны для моделирования мозговых процессов, но у них есть и другие полезные применения. Например, очень похожие типы сетей, называемые трансформерами, лежат в основе языковых инструментов на основе ИИ, таких как ChatGPT, поэтому улучшения, выявленные г-ном Бернсом и профессором Фукаем, также могут сделать эти инструменты более мощными.

Г-н Бернс и его коллеги планируют продолжить работу с модифицированными сетями Хопфилда, чтобы сделать их еще более надежными. Например, в мозге сила связей между нейронами неодинакова в обоих направлениях, поэтому г-н Бернс задается вопросом, может ли эта особенность асимметрии также улучшить производительность сети. Кроме того, он хотел бы изучить способы заставить воспоминания сети взаимодействовать друг с другом, как они взаимодействуют в человеческом мозгу.

«Наша память многогранна и обширна, — говорит г-н Бернс. «Нам еще многое предстоит открыть».

Об этом поиске новостей искусственного интеллекта

автор: Томоми Окубо
источник: усть
коммуникация: Томоми Окубо — OIST
картина: Изображение находится в общественном достоянии

Исходный поиск: Результаты будут представлены на Международной конференции по представительству в обучении.