Изучение безопасности, адаптивности и эффективности искусственного интеллекта в реальном мире
На следующей неделе ознаменуется начало 40-й Международной конференции по машинному обучению (ICML 2023), которая пройдет 23–29 июля в Гонолулу, Гавайи.
ICML объединяет сообщество искусственного интеллекта (ИИ) для обмена новыми идеями, инструментами и наборами данных, а также установления связей для развития этой области. От компьютерного зрения до робототехники — исследователи со всего мира представят свои последние достижения.
Наш директор по науке, технологиям и обществу Шакир Мохамед выступит с докладом о машинном обучении с социальными целями, решении проблем здравоохранения и климата, использовании социотехнических взглядов и укреплении глобальных сообществ.
Мы гордимся тем, что поддерживаем конференцию в качестве платинового спонсора и продолжаем работать вместе с нашими давними партнерами LatinX в области искусственного интеллекта, Queer в искусственном интеллекте и женщин в машинном обучении.
На конференции мы также демонстрируем демо-версии AlphaFold, наши достижения в области термоядерной науки и новые модели, такие как PaLM-E для робототехники и Phenaki для генерации видео из текста.
В этом году исследователи Google DeepMind представят на ICML более 80 новых статей. Поскольку многие статьи были отправлены до того, как Google Brain и DeepMind объединили свои усилия, статьи, первоначально представленные в рамках филиала Google Brain, будут включены в блог Google Research, а в этом блоге представлены статьи, представленные в рамках филиала DeepMind.
ИИ в (моделируемом) мире
Успех искусственного интеллекта, который может читать, писать и создавать, подкреплен базовыми моделями — системами искусственного интеллекта, обученными на обширных наборах данных, которые могут научиться выполнять множество задач. Наше последнее исследование показывает, как мы можем воплотить эти усилия в реальный мир, и закладывает основу для более эффективных и воплощенных агентов ИИ, которые смогут лучше понимать динамику мира, открывая новые возможности для более полезных инструментов ИИ.
В устной презентации мы представляем AdA — агент искусственного интеллекта, который может адаптироваться для решения новых задач в моделируемой среде, как это делают люди. За считанные минуты AdA может решать сложные задачи: объединять объекты новыми способами, перемещаться по невидимым территориям и сотрудничать с другими игроками.
Аналогичным образом мы показываем, как можно использовать модели языка видения для обучения воплощенных агентов – например, сообщая роботу, что он делает.
Будущее обучения с подкреплением
Чтобы разработать ответственный и заслуживающий доверия ИИ, мы должны понимать цели, лежащие в основе этих систем. В обучении с подкреплением это можно определить через вознаграждение.
В устной презентации мы стремимся обосновать гипотезу вознаграждения, впервые выдвинутую Ричардом Саттоном, утверждающую, что все цели можно рассматривать как максимизацию ожидаемого совокупного вознаграждения. Мы объясняем точные условия, при которых оно выполняется, и уточняем виды целей, которые могут – и не могут – быть достигнуты с помощью вознаграждения в общей форме задачи обучения с подкреплением.
При развертывании систем искусственного интеллекта они должны быть достаточно надежными для реального мира. Мы рассмотрим, как лучше обучать алгоритмы обучения с подкреплением в рамках ограничений, поскольку инструменты ИИ часто приходится ограничивать в целях безопасности и эффективности.
В нашем исследовании, которое было отмечено наградой ICML 2023 Outstanding Paper Award, мы изучаем, как мы можем обучать модели сложной долгосрочной стратегии в условиях неопределенности с помощью несовершенных информационных игр. Мы рассказываем, как модели могут выигрывать в играх для двух игроков, даже не зная позиции и возможных ходов другого игрока.
Проблемы на переднем крае ИИ
Люди могут легко учиться, адаптироваться и понимать мир вокруг нас. Разработка передовых систем искусственного интеллекта, способных обобщать, как это делает человек, поможет создать инструменты искусственного интеллекта, которые мы сможем использовать в повседневной жизни и решать новые задачи.
Один из способов адаптации ИИ — быстрое изменение своих прогнозов в ответ на новую информацию. В устном докладе мы рассмотрим пластичность нейронных сетей и то, как она может теряться в процессе обучения — и способы предотвращения потери.
Мы также представляем исследование, которое могло бы помочь объяснить тип контекстного обучения, который возникает в больших языковых моделях путем изучения нейронных сетей, метаобученных на источниках данных, статистика которых меняется спонтанно, например, при прогнозировании естественного языка.
В устной презентации мы представляем новое семейство рекуррентных нейронных сетей (RNN), которые лучше справляются с долгосрочными задачами рассуждения, чтобы раскрыть потенциал этих моделей на будущее.
Наконец, в «квантильном присвоении кредитов» мы предлагаем подход, позволяющий отделить удачу от навыков. Устанавливая более четкую взаимосвязь между действиями, результатами и внешними факторами, ИИ может лучше понимать сложные реальные среды.