Чтобы ориентироваться в мире, наш мозг должен развить интуитивное понимание физического мира вокруг нас, которое мы затем используем для интерпретации сенсорной информации, поступающей в мозг.
Как мозг развивает это интуитивное понимание? Многие учёные полагают, что здесь может использоваться процесс, похожий на так называемый «обучение с самоконтролем». Этот тип машинного обучения, изначально разработанный как способ создания более эффективных моделей компьютерного зрения, позволяет вычислительным моделям изучать визуальные сцены исключительно на основе сходств и различий между ними, без каких-либо меток или другой информации.
Пара исследований, проведенных исследователями из Центра интегративной вычислительной нейронауки (ICoN) имени К. Лизы Ян при Массачусетском технологическом институте, предлагает новые доказательства, подтверждающие эту гипотезу. Исследователи обнаружили, что когда они обучали модели, известные как нейронные сети, используя определенный тип самоконтролируемого обучения, полученные модели генерировали шаблоны активности, очень похожие на те, которые наблюдаются в мозге животных, выполняющих те же задачи, что и модели.
Результаты показывают, что эти модели способны изучать представления физического мира, которые они могут использовать для точных предсказаний о том, что произойдет в этом мире, и что мозг млекопитающих может использовать ту же стратегию, говорят исследователи.
«Тема нашей работы заключается в том, что искусственный интеллект, предназначенный для создания более совершенных роботов, в конечном итоге также становится основой для лучшего понимания мозга в целом», — говорит Аран Найеби, постдок в Центре ICoN. «Мы пока не можем сказать, касается ли это всего мозга, но в масштабах и в разных областях мозга наши результаты, похоже, наводят на мысль об организующем принципе».
Найеби — ведущий автор одного из исследований, написанного в соавторстве с Риши Раджалингамом, бывшим постдоком Массачусетского технологического института, ныне работающим в Meta Reality Labs, и старшими авторами Мехрдадом Джазайери, доцентом кафедры мозга и когнитивных наук и членом Института Макговерна. Исследования мозга; и Роберт Янг, доцент кафедры мозга и когнитивных наук и ассоциированный член Института Макговерна. Ила Фите, директор Центра ICoN, профессор исследований мозга и когнитивных наук и ассоциированный член Института Макговерна, является старшим автором другого исследования, со-руководителем которого выступил Микаил Хона, аспирант Массачусетского технологического института, и Райлан Шеффер, бывший старший научный сотрудник Массачусетского технологического института.
Оба исследования будут представлены на конференции по нейронным системам обработки информации (NeurIPS) 2023 года в декабре.
Моделирование физического мира
Ранние модели компьютерного зрения в основном полагались на контролируемое обучение. Используя этот подход, модели обучаются классифицировать изображения, каждое из которых помечено именем — кошка, машина и т. д. Полученные модели работают хорошо, но этот тип обучения требует большого количества данных, помеченных человеком.
Чтобы создать более эффективную альтернативу, в последние годы исследователи обратились к моделям, построенным с помощью метода, известного как контрастивное обучение с самоконтролем. Этот тип обучения позволяет алгоритму научиться классифицировать объекты на основе того, насколько они похожи друг на друга, без предоставления внешних меток.
«Это очень мощный метод, потому что теперь вы можете использовать очень большие современные наборы данных, особенно видео, и по-настоящему раскрыть их потенциал», — говорит Найеби. «Большая часть современного ИИ, который вы видите сейчас, особенно в последние пару лет с ChatGPT и GPT-4, является результатом обучения целевой функции с самоконтролем на крупномасштабном наборе данных для получения очень гибкого представления».
Эти типы моделей, также называемые нейронными сетями, состоят из тысяч или миллионов процессорных блоков, связанных друг с другом. Каждый узел имеет соединения разной силы с другими узлами сети. Поскольку сеть анализирует огромные объемы данных, сила этих связей меняется по мере того, как сеть учится выполнять желаемую задачу.
Поскольку модель выполняет конкретную задачу, можно измерить модели активности различных подразделений сети. Активность каждой единицы можно представить в виде схемы срабатывания, аналогичной схеме срабатывания нейронов в мозге. Предыдущая работа Найеби и других показала, что модели зрения с самоконтролем генерируют активность, аналогичную той, которая наблюдается в системе обработки визуальной информации мозга млекопитающих.
В обоих новых исследованиях NeurIPS исследователи намеревались выяснить, могут ли самоконтролируемые вычислительные модели других когнитивных функций также демонстрировать сходство с мозгом млекопитающих. В исследовании, проведенном Найеби, ученые обучили модели с самоконтролем прогнозировать будущее состояние окружающей среды с помощью сотен тысяч натуралистических видеороликов, изображающих повседневные сценарии.
«В течение последнего десятилетия или около того доминирующим методом построения моделей нейронных сетей в когнитивной нейробиологии является обучение этих сетей решению индивидуальных когнитивных задач. Но модели, обученные таким образом, редко обобщаются для других задач», — говорит Янг. «Здесь мы проверяем, можем ли мы построить модели для некоторых аспектов познания, сначала обучаясь на натуралистических данных с использованием самоконтролируемого обучения, а затем оценивая их в лабораторных условиях».
После обучения модели исследователи обобщили ее до задачи, которую они назвали «Ментальный-понг». Это похоже на видеоигру «Понг», где игрок перемещает ракетку, чтобы ударить по мячу, путешествующему по экрану. В версии Mental-Pong мяч исчезает незадолго до удара по ракетке, поэтому игроку необходимо оценить его траекторию, чтобы ударить по мячу.
Исследователи обнаружили, что модель способна отслеживать траекторию скрытого мяча с точностью, аналогичной точности нейронов в мозгу млекопитающих, которые в предыдущем исследовании Раджалингема и Джазайери показали, что они моделируют его траекторию — когнитивный феномен, известный как «мысленный феномен». симуляция». Более того, паттерны нейронной активации, наблюдаемые в модели, были аналогичны тем, которые наблюдались в мозге животных во время игры — в частности, в части мозга, называемой дорсомедиальной лобной корой. По словам исследователей, ни один другой класс вычислительных моделей не смог так точно соответствовать биологическим данным, как этот.
«Сообщество машинного обучения прилагает много усилий по созданию искусственного интеллекта», — говорит Джазайери. «Актуальность этих моделей для нейробиологии зависит от их способности дополнительно отражать внутреннюю работу мозга. Тот факт, что модель Арана предсказывает нейронные данные, действительно важен, поскольку он предполагает, что мы, возможно, приближаемся к созданию искусственных систем, имитирующих естественный интеллект».
Навигация по миру
Исследование, проведенное Хоной, Шеффером и Фите, было сосредоточено на типе специализированных нейронов, известных как ячейки сетки. Эти клетки, расположенные в энторинальной коре головного мозга, помогают животным ориентироваться, работая вместе с клетками места, расположенными в гиппокампе.
В то время как ячейки места срабатывают всякий раз, когда животное находится в определенном месте, ячейки сетки срабатывают только тогда, когда животное находится в одной из вершин треугольной решетки. Группы ячеек сетки создают перекрывающиеся решетки разных размеров, что позволяет им кодировать большое количество позиций, используя относительно небольшое количество ячеек.
В недавних исследованиях исследователи обучили контролируемые нейронные сети имитировать функцию ячеек сетки, предсказывая следующее местоположение животного на основе его начальной точки и скорости. Эта задача известна как интеграция путей. Однако эти модели основаны на постоянном доступе к привилегированной информации об абсолютном пространстве — информации, которой нет у животного.
Вдохновленная поразительными свойствами кодирования многопериодического кода ячеек сетки для пространства, команда Массачусетского технологического института обучила контрастирующую модель с самоконтролем, чтобы она одновременно выполняла одну и ту же задачу интеграции путей и эффективно представляла пространство при этом. Для обучающих данных они использовали последовательности входных данных скорости. Модель научилась различать позиции в зависимости от того, похожи они или различны: соседние позиции генерировали похожие коды, но дальнейшие позиции генерировали больше разных кодов.
«Это похоже на обучение моделей на изображениях: если два изображения являются головами кошек, их коды должны быть одинаковыми, но если одно из них — голова кошки, а другое — грузовик, то вы хотите, чтобы их коды отталкивались», — Хона говорит. «Мы берем ту же идею, но применяем ее к пространственным траекториям».
После обучения модели исследователи обнаружили, что паттерны активации узлов в модели образуют несколько решетчатых паттернов с разными периодами, очень похожих на те, которые формируются ячейками сетки в мозгу.
«Что меня волнует в этой работе, так это то, что она устанавливает связь между математической работой над поразительными теоретико-информационными свойствами кода ячейки сетки и вычислением интеграции путей», — говорит Фите. «Пока математическая работа была аналитической — какими свойствами обладает код ячейки сетки? — Подход к оптимизации эффективности кодирования посредством самостоятельного обучения и получения сетчатой настройки является синтетическим: он показывает, какие свойства могут быть необходимы и достаточны, чтобы объяснить, почему в мозгу есть ячейки сетки».
Исследование финансировалось Центром ICoN К. Лизы Янг, Национальными институтами здравоохранения, Фондом Саймонса, Фондом Макнайта, Институтом Макговерна и Фондом Хелен Хей Уитни.