Исследования в области моделей искусственного интеллекта, которые могут обобщать, масштабировать и ускорять науку.
На следующей неделе ознаменуется начало 11-й Международной конференции по изучению представлений (ICLR), которая пройдет 1-5 мая в Кигали, Руанда. Это будет первая крупная конференция по искусственному интеллекту (ИИ), которая пройдет в Африке, и первое очное мероприятие с начала пандемии.
Исследователи со всего мира соберутся, чтобы поделиться своими передовыми разработками в области глубокого обучения, охватывающими области искусственного интеллекта, статистики и науки о данных, а также приложений, включая машинное зрение, игры и робототехнику. Мы гордимся тем, что поддерживаем конференцию в качестве бриллиантового спонсора и чемпиона DEI.
В этом году команды со всего DeepMind представят 23 статьи. Вот несколько основных моментов:
Открытые вопросы на пути к AGI
Недавний прогресс показал невероятную производительность ИИ в области текста и изображений, но необходимы дополнительные исследования, чтобы системы могли обобщать данные в различных областях и масштабах. Это станет решающим шагом на пути к развитию общего искусственного интеллекта (AGI) как инструмента преобразования нашей повседневной жизни.
Мы представляем новый подход, при котором модели учатся, решая две задачи в одной. Обучая модели смотреть на проблему с двух точек зрения одновременно, они учатся рассуждать о задачах, требующих решения аналогичных проблем, что полезно для обобщения. Мы также исследовали способность нейронных сетей к обобщению, сравнивая их с иерархией языков Хомского. Тщательно протестировав 2200 моделей в 16 различных задачах, мы обнаружили, что некоторые модели с трудом поддаются обобщению, и обнаружили, что дополнение их внешней памятью имеет решающее значение для повышения производительности.
Еще одна проблема, которую мы решаем, — как добиться прогресса в долгосрочных задачах на экспертном уровне, где награды немногочисленны и редки. Мы разработали новый подход и набор обучающих данных с открытым исходным кодом, чтобы помочь моделям научиться исследовать, как это делают люди, в долгосрочной перспективе.
Инновационные подходы
По мере того, как мы разрабатываем более совершенные возможности искусственного интеллекта, мы должны гарантировать, что существующие методы работают должным образом и эффективно в реальном мире. Например, хотя языковые модели могут давать впечатляющие ответы, многие из них не могут объяснить свои ответы. Мы представляем метод использования языковых моделей для решения многоэтапных задач рассуждения, используя их основную логическую структуру, предоставляя объяснения, которые могут быть поняты и проверены людьми. С другой стороны, состязательные атаки — это способ исследовать пределы моделей ИИ, подталкивая их к созданию неправильных или вредных результатов. Обучение на состязательных примерах делает модели более устойчивыми к атакам, но это может привести к снижению производительности на «обычных» входных данных. Мы показываем, что, добавляя адаптеры, мы можем создавать модели, которые позволяют нам контролировать этот компромисс на лету.
Обучение с подкреплением (RL) доказало свою эффективность в решении целого ряда реальных задач, но алгоритмы RL обычно разрабатываются так, чтобы хорошо выполнять одну задачу и с трудом обобщаются на новые. Мы предлагаем дистилляцию алгоритма — метод, который позволяет одной модели эффективно обобщать новые задачи, обучая преобразователь имитировать истории обучения алгоритмов RL в различных задачах. Модели RL также обучаются методом проб и ошибок, что может потребовать очень большого объема данных и времени. Нашей модели Agent 57 потребовалось около 80 миллиардов кадров данных, чтобы достичь производительности человеческого уровня в 57 играх Atari. Мы поделимся новым способом обучения до этого уровня, используя в 200 раз меньше опыта, что значительно снижает затраты на вычисления и электроэнергию.
ИИ для науки
ИИ — мощный инструмент для исследователей, позволяющий анализировать огромные объемы сложных данных и понимать мир вокруг нас. В нескольких статьях показано, как ИИ ускоряет научный прогресс и как наука продвигает ИИ.
Предсказание свойств молекулы по ее трехмерной структуре имеет решающее значение для открытия лекарств. Мы представляем метод шумоподавления, который обеспечивает новый современный уровень прогнозирования молекулярных свойств, позволяет проводить крупномасштабное предварительное обучение и обобщает различные наборы биологических данных. Мы также представляем новый преобразователь, который может выполнять более точные квантово-химические расчеты, используя только данные о положениях атомов.
Наконец, с помощью Fignet мы черпаем вдохновение из физики для моделирования столкновений между сложными фигурами, такими как чайник или пончик. Этот симулятор может найти применение в робототехнике, графике и механическом проектировании.
Полный список докладов DeepMind и расписание мероприятий см. на ICLR 2023.