Многие современные технологии, от камер до беспилотных автомобилей, зависят от искусственного интеллекта для извлечения смысла из визуальной информации. В основе современной технологии ИИ лежат искусственные нейронные сети, и в большинстве случаев мы можем доверять этим системам компьютерного зрения ИИ, чтобы видеть вещи так, как видим мы, но иногда они дают сбои. По мнению ученых-исследователей Массачусетского технологического института и IBM, один из способов улучшить компьютерное зрение — это научить искусственные нейронные сети, на которые они полагаются, преднамеренно имитировать то, как биологическая нейронная сеть мозга обрабатывает визуальные изображения.
Исследователи под руководством профессора Массачусетского технологического института Джеймса ДиКарло, директора MIT Quest for Intelligence и члена лаборатории искусственного интеллекта Watson MIT-IBM, сделали модель компьютерного зрения более надежной, обучив ее работать как часть мозга человека и других приматов. полагаться на распознавание объектов. В мае этого года на Международной конференции по обучающим представлениям команда сообщила, что когда они обучили искусственную нейронную сеть, используя паттерны нейронной активности в нижней височной (ИТ) коре головного мозга, искусственная нейронная сеть смогла более надежно идентифицировать объекты на изображениях, чем модель, которой не хватало нейронной подготовки. И интерпретация изображений моделью более точно соответствовала тому, что видели люди, даже когда изображения содержали незначительные искажения, которые усложняли задачу.
Сравнение нейронных цепей
Многие из искусственных нейронных сетей, используемых для компьютерного зрения, уже напоминают многослойные схемы мозга, обрабатывающие визуальную информацию у людей и других приматов. Подобно мозгу, они используют нейроноподобные единицы, которые работают вместе для обработки информации. По мере обучения выполнению конкретной задачи эти многоуровневые компоненты коллективно и постепенно обрабатывают визуальную информацию для выполнения задачи — определяя, например, что на изображении изображен медведь, машина или дерево.
ДиКарло и другие ранее обнаружили, что, когда такие системы компьютерного зрения с глубоким обучением устанавливают эффективные способы решения визуальных проблем, они в конечном итоге получают искусственные схемы, которые работают аналогично нейронным схемам, обрабатывающим визуальную информацию в нашем собственном мозгу. То есть они оказались на удивление хорошими научными моделями нейронных механизмов, лежащих в основе зрения приматов и человека.
Это сходство помогает нейробиологам углублять свое понимание мозга. Демонстрируя способы обработки визуальной информации для придания смысла изображениям, вычислительные модели выдвигают гипотезы о том, как мозг может выполнять ту же задачу. По мере того как разработчики продолжают совершенствовать модели компьютерного зрения, нейробиологи находят новые идеи для изучения в своей работе.
«По мере того, как системы машинного зрения становятся лучше в реальном мире, некоторые из них становятся более похожими на человека в своей внутренней обработке. Это полезно с точки зрения понимания биологии», — говорит ДиКарло, который также является профессором мозговых и когнитивных наук и исследователем в Институте исследований мозга Макговерна.
Разработка более похожего на мозг ИИ
Хотя их потенциал многообещающий, системы компьютерного зрения еще не являются идеальными моделями человеческого зрения. ДиКарло подозревал, что одним из способов улучшить компьютерное зрение может быть включение в эти модели определенных мозговых функций.
Чтобы проверить эту идею, он и его сотрудники построили модель компьютерного зрения, используя нейронные данные, ранее собранные от нейронов, обрабатывающих зрение, в ИТ-коре головного мозга обезьян — ключевой части вентрального зрительного пути приматов, участвующего в распознавании объектов, — в то время как животные просматривали различные изображения. В частности, Джоэл Дапелло, аспирант Гарвардского университета и бывший стажер MIT-IBM Watson AI Lab; и Кохитий Кар, доцент и заведующий кафедрой канадских исследований (визуальная неврология) Йоркского университета и приглашенный научный сотрудник Массачусетского технологического института; в сотрудничестве с Дэвидом Коксом, вице-президентом IBM Research по моделям ИИ и директором IBM Watson AI Lab в Массачусетском технологическом институте; и другие исследователи из IBM Research и Массачусетского технологического института попросили искусственную нейронную сеть эмулировать поведение этих нейронов обработки зрения приматов, в то время как сеть научилась идентифицировать объекты в стандартной задаче компьютерного зрения.
«По сути, мы сказали сети: «Пожалуйста, решите эту стандартную задачу компьютерного зрения, но, пожалуйста, также сделайте функцию одного из ваших внутренних смоделированных «нейронных» слоев как можно более похожей на функцию соответствующего биологического нейронного слоя». “, – объясняет ДиКарло. «Мы попросили его сделать обе эти вещи как можно лучше». По его словам, это вынудило искусственные нейронные цепи найти способ обработки визуальной информации, отличный от стандартного подхода компьютерного зрения.
После обучения искусственной модели биологическими данными команда ДиКарло сравнила ее активность с моделью нейронной сети аналогичного размера, обученной без нейронных данных, используя стандартный подход для компьютерного зрения. Они обнаружили, что новый уровень ИТ-модели, основанный на биологической информации, лучше соответствует данным нейронных сетей ИТ. То есть для каждого протестированного изображения популяция искусственных ИТ-нейронов в модели реагировала более похоже на соответствующую популяцию биологических ИТ-нейронов.
Исследователи также обнаружили, что ИТ-модель модели также лучше соответствовала ИТ-нейронным данным, полученным от другой обезьяны, даже несмотря на то, что модель никогда не видела данные от этого животного, и даже когда это сравнение оценивалось по ИТ-реакциям этой обезьяны на новые изображения. Это указывало на то, что новая, «нейронно выровненная» компьютерная модель команды может быть улучшенной моделью нейробиологической функции ИТ-коры приматов — интересное открытие, учитывая, что ранее было неизвестно, может ли количество нейронных данных, которое в настоящее время может быть собрано из зрительная система приматов способна напрямую управлять развитием модели.
Имея в руках свою новую компьютерную модель, команда спросила, приводит ли процедура «выравнивания ИТ-нейронов» к каким-либо изменениям в общих поведенческих характеристиках модели. Действительно, они обнаружили, что нейронно-ориентированная модель была более похожа на человека по своему поведению — она, как правило, преуспевала в правильной категоризации объектов на изображениях, в которых люди также преуспевают, и, как правило, терпела неудачу, когда люди тоже терпели неудачу.
Враждебные атаки
Команда также обнаружила, что модель с нейронным выравниванием более устойчива к «состязательным атакам», которые разработчики используют для тестирования компьютерного зрения и систем искусственного интеллекта. В компьютерном зрении состязательные атаки вносят небольшие искажения в изображения, которые должны ввести в заблуждение искусственную нейронную сеть.
«Скажем, у вас есть изображение, которое модель идентифицирует как кошку. Поскольку у вас есть знания о внутренней работе модели, вы можете вносить очень небольшие изменения в изображение, чтобы модель вдруг подумала, что это больше не кошка», — объясняет ДиКарло.
Эти незначительные искажения обычно не вводят людей в заблуждение, но модели компьютерного зрения борются с этими изменениями. Человек, который смотрит на слегка искаженную кошку, все равно достоверно и твердо сообщает, что это кошка. Но стандартные модели компьютерного зрения с большей вероятностью примут кошку за собаку или даже за дерево.
«Должны быть какие-то внутренние различия в том, как наш мозг обрабатывает изображения, что делает наше зрение более устойчивым к такого рода атакам», — говорит ДиКарло. И действительно, команда обнаружила, что когда они сделали свою модель более нейронной, она стала более надежной, правильно идентифицируя больше изображений перед лицом атак со стороны противника. Модель все еще можно обмануть более сильными «атаками», но и люди тоже могут, говорит ДиКарло. Его команда сейчас исследует пределы противоборствующей устойчивости у людей.
Несколько лет назад команда ДиКарло обнаружила, что они также могут повысить устойчивость модели к атакам со стороны противника, разработав первый слой искусственной сети для эмуляции слоя ранней обработки изображений в мозгу. Одним из ключевых следующих шагов является объединение таких подходов — создание новых моделей, которые одновременно нейронно выравниваются на нескольких уровнях визуальной обработки.
Новая работа является еще одним свидетельством того, что обмен идеями между нейронаукой и информатикой может способствовать прогрессу в обеих областях. «Каждый получает что-то от захватывающего благотворного цикла между естественным/биологическим интеллектом и искусственным интеллектом», — говорит ДиКарло. «В этом случае исследователи компьютерного зрения и ИИ получают новые способы достижения надежности, а нейробиологи и когнитивисты получают более точные механистические модели человеческого зрения».
Эта работа была поддержана MIT-IBM Watson AI Lab, Semiconductor Research Corporation, Агентством оборонных исследовательских проектов США, MIT Shoemaker Fellowship, Управлением военно-морских исследований США, Фондом Саймонса и Канадской исследовательской программой.