Развитие лучших в своем классе больших моделей, оптимальных для вычислений агентов RL и более прозрачных, этичных и справедливых систем искусственного интеллекта.
Тридцать шестая Международная конференция по нейронным системам обработки информации (NeurIPS 2022) пройдет с 28 ноября по 9 декабря 2022 года как гибридное мероприятие в Новом Орлеане, США.
NeurIPS — крупнейшая в мире конференция по искусственному интеллекту (ИИ) и машинному обучению (ML), и мы гордимся тем, что поддерживаем это мероприятие в качестве спонсоров Diamond, помогая способствовать обмену научными достижениями в сообществе AI и ML.
Команды со всего DeepMind представили 47 докладов, в том числе 35 — в рамках внешнего сотрудничества на виртуальных панелях и стендовых докладах. Вот краткое введение в некоторые исследования, которые мы представляем:
Лучшие в своем классе большие модели.
Большие модели (LM) — генеративные системы искусственного интеллекта, обученные на огромных объемах данных — привели к невероятным результатам в таких областях, как генерация языка, текста, аудио и изображений. Частично их успех объясняется их масштабом.
Однако в Chinchilla мы создали языковую модель с 70 миллиардами параметров, которая превосходит по производительности многие более крупные модели, включая Gopher. Мы обновили законы масштабирования больших моделей, показав, что ранее обученные модели оказались слишком большими для объема выполняемого обучения. Эта работа уже сформировала другие модели, которые следуют этим обновленным правилам, создавая более компактные и лучшие модели, и получила награду за выдающийся основной доклад на конференции.
Опираясь на Chinchilla и наши мультимодальные модели NFNets и Perceiver, мы также представляем Flamingo, семейство моделей визуального обучения с несколькими попытками. Обрабатывая изображения, видео и текстовые данные, Flamingo представляет собой мост между моделями, ориентированными только на зрение, и моделями, ориентированными только на язык. Единая модель Flamingo устанавливает новый уровень развития в области однократного обучения широкому кругу открытых мультимодальных задач.
И все же масштаб и архитектура — не единственные факторы, которые важны для мощности моделей на основе трансформатора. Свойства данных также играют важную роль, которую мы обсуждаем в презентации о свойствах данных, которые способствуют контекстному обучению в моделях преобразователей.
Оптимизация обучения с подкреплением
Обучение с подкреплением (RL) показало большие перспективы как подход к созданию обобщенных систем искусственного интеллекта, способных решать широкий спектр сложных задач. Это привело к прорывам во многих областях, от Go до математики, и мы всегда ищем способы сделать агентов RL умнее и компактнее.
Мы представляем новый подход, который повышает способность агентов RL принимать решения эффективным с точки зрения вычислений способом за счет радикального расширения масштаба информации, доступной для их поиска.
Мы также продемонстрируем концептуально простой, но общий подход к исследованию, основанному на любопытстве, в визуально сложных средах — агент RL под названием BYOL-Explore. Он обеспечивает сверхчеловеческую производительность, при этом устойчив к шуму и намного проще, чем предыдущие работы.
Алгоритмические достижения
Алгоритмы являются фундаментальной частью современных вычислений: от сжатия данных до запуска моделирования для прогнозирования погоды. Таким образом, постепенные улучшения могут оказать огромное влияние при работе в больших масштабах, помогая сэкономить энергию, время и деньги.
Мы поделимся радикально новым и легко масштабируемым методом автоматической настройки компьютерных сетей, основанным на нейронных алгоритмах, который показывает, что наш очень гибкий подход работает до 490 раз быстрее, чем современный уровень техники, удовлетворяя при этом большую часть входных данных. ограничения.
В ходе той же сессии мы также представляем тщательное исследование ранее теоретического понятия «алгоритмического выравнивания», подчеркивая нюансы взаимосвязи между графовыми нейронными сетями и динамическим программированием, а также то, как лучше всего их объединить для оптимизации производительности вне распределения.
Ответственное новаторство
В основе миссии DeepMind лежит наше стремление действовать как ответственные пионеры в области искусственного интеллекта. Мы стремимся разрабатывать системы искусственного интеллекта, которые будут прозрачными, этичными и справедливыми.
Объяснение и понимание поведения сложных систем ИИ — важная часть создания справедливых, прозрачных и точных систем. Мы предлагаем набор требований, которые отражают эти амбиции, и описываем практический способ их достижения, который включает в себя обучение системы ИИ построению причинно-следственной модели самой себя, позволяющей ей осмысленно объяснять свое собственное поведение.
Чтобы действовать безопасно и этично в мире, агенты ИИ должны иметь возможность рассуждать о вреде и избегать вредных действий. Мы представим совместную работу над новым статистическим показателем, называемым контрфактическим вредом, и продемонстрируем, как он преодолевает проблемы со стандартными подходами, чтобы избежать проведения вредной политики.
Наконец, мы представляем нашу новую статью, в которой предлагаются способы диагностики и устранения нарушений справедливости модели, вызванных сдвигами в распределении, и показываем, насколько важны эти проблемы для развертывания безопасных технологий ML в медицинских учреждениях.
Полный спектр наших работ на NeurIPS 2022 смотрите здесь.