С помощью сети искусственного языка нейробиологи Массачусетского технологического института выяснили, какие предложения с наибольшей вероятностью активируют ключевые центры обработки речи в мозге.
Новое исследование показывает, что более сложные предложения, либо из-за необычной грамматики, либо из-за неожиданного значения, вызывают более сильную реакцию в этих центрах языковой обработки. Очень простые предложения почти не задействуют эти области, и бессмысленные последовательности слов тоже мало что для них делают.
Например, исследователи обнаружили, что эта мозговая сеть была наиболее активна при чтении необычных предложений, таких как «Сигналы покупки и продажи остаются частными», взятых из общедоступного набора языковых данных под названием C4. Однако он затихал, когда читал что-то очень простое, например: «Мы сидели на диване».
«Ввод должен быть достаточно языковым, чтобы задействовать систему», — говорит Эвелина Федоренко, доцент кафедры нейронаук Массачусетского технологического института и сотрудник Института исследований мозга Макговерна Массачусетского технологического института. «И потом, если в этом пространстве все действительно легко обработать, то у вас не будет особой реакции. Но если что-то становится трудным или неожиданным, если появляется необычная конструкция или необычный набор слов, с которыми вы, возможно, не очень знакомы, тогда сети придется работать усерднее».
Федоренко является старшим автором исследования, которое опубликовано сегодня в Природа Человеческое поведение. Аспирантка Массачусетского технологического института Грета Такут является ведущим автором статьи.
Язык обработки
В этом исследовании исследователи сосредоточились на областях обработки речи, обнаруженных в левом полушарии мозга, которое включает в себя область Брока, а также другие части левой лобной и височной долей мозга.
«Эта языковая сеть очень избирательна по отношению к языку, но на самом деле труднее выяснить, что происходит в этих языковых регионах», — говорит Такуте. «Мы хотели выяснить, какие предложения и какие лингвистические данные управляют языковой сетью левого полушария».
Исследователи начали с составления набора из 1000 предложений, взятых из самых разных источников — художественной литературы, транскрипции устной речи, веб-текста, научных статей и многих других.
Пять участников-людей читали каждое предложение, в то время как исследователи измеряли активность их языковой сети с помощью функциональной магнитно-резонансной томографии (фМРТ). Затем исследователи ввели те же самые 1000 предложений в большую языковую модель — модель, похожую на ChatGPT, которая учится генерировать и понимать язык, предсказывая следующее слово в огромных объемах текста — и измерили шаблоны активации модели в ответ на каждое предложение. предложение.
Получив все эти данные, исследователи обучили картографическую модель, известную как «модель кодирования», которая связывает паттерны активации, наблюдаемые в человеческом мозге, с паттернами, наблюдаемыми в модели искусственного языка. После обучения модель могла предсказать, как сеть человеческого языка отреагирует на любое новое предложение, основываясь на том, как сеть искусственного языка отреагировала на эти 1000 предложений.
Затем исследователи использовали модель кодирования, чтобы идентифицировать 500 новых предложений, которые будут генерировать максимальную активность в человеческом мозге («двигательные» предложения), а также предложения, которые будут вызывать минимальную активность в языковой сети мозга («подавляющие» предложения). .
В группе из трех новых участников-людей исследователи обнаружили, что эти новые предложения действительно стимулируют и подавляют мозговую активность, как и предполагалось.
«Эта «замкнутая» модуляция активности мозга во время обработки речи является новой», — говорит Такуте. «Наше исследование показывает, что модель, которую мы используем (которая сопоставляет активацию языковой модели и реакции мозга), достаточно точна, чтобы сделать это. Это первая демонстрация такого подхода в областях мозга, участвующих в познании более высокого уровня, таких как языковая сеть».
Лингвистическая сложность
Чтобы выяснить, почему определенные предложения стимулируют активность больше, чем другие, исследователи проанализировали предложения на основе 11 различных лингвистических свойств, включая грамматичность, правдоподобие, эмоциональную валентность (положительную или отрицательную), а также то, насколько легко визуализировать содержание предложения.
Для каждого из этих свойств исследователи попросили участников краудсорсинговых платформ оценить предложения. Они также использовали вычислительную технику для количественной оценки «неожиданности» каждого предложения или того, насколько оно необычно по сравнению с другими предложениями.
Этот анализ показал, что предложения с более высоким уровнем неожиданности вызывают более сильные реакции в мозгу. По словам исследователей, это согласуется с предыдущими исследованиями, показывающими, что людям труднее обрабатывать предложения с более высоким уровнем неожиданности.
Еще одним лингвистическим свойством, которое коррелировало с ответами языковой сети, была лингвистическая сложность, которая измеряется тем, насколько предложение соответствует правилам английской грамматики и насколько оно правдоподобно, то есть насколько смысл имеет содержание помимо грамматики.
Предложения на обоих концах спектра — либо чрезвычайно простые, либо настолько сложные, что не имеют никакого смысла — вызывали очень небольшую активацию в языковой сети. Наибольшие отклики пришли от предложений, которые имеют некоторый смысл, но требуют работы, чтобы их понять, например «Jiffy Lube of — of therapies, yes», которое было получено из набора данных Corpus of Contemporary American English.
«Мы обнаружили, что предложения, вызывающие наибольшую реакцию мозга, имеют странную грамматическую структуру и/или странное значение», — говорит Федоренко. «В этих предложениях есть что-то немного необычное».
Теперь исследователи планируют посмотреть, смогут ли они распространить эти результаты на носителей других языков, кроме английского. Они также надеются выяснить, какие типы стимулов могут активировать области языковой обработки в правом полушарии мозга.
Исследование финансировалось стипендией Amazon от Science Hub, международной докторской стипендией Американской ассоциации женщин-университетов, Лабораторией искусственного интеллекта Watson MIT-IBM, Национальными институтами здравоохранения, Институтом Макговерна, Центром социального мозга Саймонса. и Департамент мозговых и когнитивных наук Массачусетского технологического института.