ChatGPT попал в заголовки газет по всему миру благодаря своей способности писать эссе, электронную почту и компьютерный код на основе нескольких запросов от пользователя. Теперь команда под руководством Массачусетского технологического института сообщает о системе, которая может привести к созданию программ машинного обучения, на несколько порядков более мощных, чем та, что стоит за ChatGPT. Разработанная ими система также может потреблять на несколько порядков меньше энергии, чем современные суперкомпьютеры, лежащие в основе современных моделей машинного обучения.
В номере от 17 июля Фотоника природы, исследователи сообщают о первой экспериментальной демонстрации новой системы, которая выполняет свои вычисления на основе движения света, а не электронов, используя сотни микронных лазеров. С новой системой команда сообщает о более чем 100-кратном улучшении энергоэффективности и 25-кратном повышении вычислительной плотности, меры мощности системы, по сравнению с современными цифровыми компьютерами для машинного обучения. .
Навстречу будущему
В документе команда также цитирует «существенно еще несколько порядков для будущих улучшений». В результате, продолжают авторы, метод «открывает путь к крупномасштабным оптоэлектронным процессорам для ускорения задач машинного обучения от центров обработки данных до децентрализованных периферийных устройств». Другими словами, сотовые телефоны и другие небольшие устройства смогут запускать программы, которые в настоящее время могут выполняться только в крупных центрах обработки данных.
Кроме того, поскольку компоненты системы могут быть созданы с использованием процессов изготовления, которые уже используются сегодня, «мы ожидаем, что через несколько лет ее можно будет масштабировать для коммерческого использования. Например, задействованные лазерные массивы широко используются для распознавания лиц в сотовых телефонах и передачи данных», — говорит Зайджун Чен, первый автор, который руководил работой, будучи постдоком в Массачусетском технологическом институте в Исследовательской лаборатории электроники (RLE), а сейчас является научным сотрудником. доцент Университета Южной Калифорнии.
По словам Дирка Энглунда, доцента кафедры электротехники и компьютерных наук Массачусетского технологического института и руководителя работы, «Размер ChatGPT ограничен мощностью современных суперкомпьютеров. Просто экономически невыгодно обучать модели, которые намного больше. Наша новая технология может позволить совершить скачок к моделям машинного обучения, которые в противном случае были бы недоступны в ближайшем будущем».
Он продолжает: «Мы не знаем, какими возможностями будет обладать ChatGPT следующего поколения, если он будет в 100 раз мощнее, но это режим обнаружения, который может позволить такая технология». Энглунд также является руководителем Лаборатории квантовой фотоники Массачусетского технологического института и связан с RLE и Лабораторией исследования материалов.
Барабанная дробь прогресса
Текущая работа является последним достижением в прогрессе Энглунда и многих его коллег за последние несколько лет. Например, в 2019 году команда Энглунда сообщила о теоретической работе, которая привела к нынешней демонстрации. Первый автор этой статьи, Райан Хамерли, ныне работающий в RLE и NTT Research Inc., также является автором текущей статьи.
Дополнительные соавторы текущего Фотоника природы на бумаге Александр Сладдс, Рональд Дэвис, Ян Кристен, Лиана Бернстайн и Ламия Атешян, все из RLE; а также Тобиас Хойзер, Нильс Хермайер, Джеймс А. Лотт и Стефан Райценштайн из Технического университета Берлина.
Глубокие нейронные сети (DNN), подобные той, что стоит за ChatGPT, основаны на огромных моделях машинного обучения, которые имитируют то, как мозг обрабатывает информацию. Однако цифровые технологии, лежащие в основе сегодняшних DNN, достигают своего предела, даже когда область машинного обучения растет. Кроме того, они требуют огромного количества энергии и в основном ограничены крупными центрами обработки данных. Это мотивирует разработку новых вычислительных парадигм.
Использование света, а не электронов для выполнения вычислений DNN может преодолеть существующие узкие места. Вычисления с использованием оптики, например, потенциально могут потреблять гораздо меньше энергии, чем вычисления, основанные на электронике. Кроме того, с оптикой «вы можете иметь гораздо большую пропускную способность» или вычислительную плотность, говорит Чен. Свет может передавать гораздо больше информации на гораздо меньшую площадь.
Но у современных оптических нейронных сетей (ONN) есть серьезные проблемы. Например, они потребляют много энергии, потому что неэффективно преобразовывают входящие данные, основанные на электрической энергии, в свет. Кроме того, задействованные компоненты являются громоздкими и занимают значительное место. И хотя ONN довольно хороши в линейных вычислениях, таких как сложение, они не очень хороши в нелинейных вычислениях, таких как умножение и операторы «если».
В текущей работе исследователи представляют компактную архитектуру, которая впервые решает все эти и еще две проблемы одновременно. Эта архитектура основана на современных массивах вертикальных лазеров с поверхностным излучением (VCSEL), относительно новой технологии, используемой в приложениях, включая лидарное дистанционное зондирование и лазерную печать. Конкретные VCEL, указанные в Фотоника природы бумага была разработана группой Reitzenstein в Technische Universitat Berlin. «Это был совместный проект, который был бы невозможен без них, — говорит Хамерли.
Логан Райт, доцент Йельского университета, не участвовавший в текущем исследовании, комментирует: «Работа Zaijun Chen et al. вдохновляет и воодушевляет меня и, вероятно, многих других исследователей в этой области, что системы, основанные на модулированных массивах VCSEL, могут стать жизнеспособным путем к крупномасштабным высокоскоростным оптическим нейронным сетям. Конечно, уровень техники здесь еще далек от того масштаба и стоимости, которые были бы необходимы для практически полезных устройств, но я с оптимизмом смотрю на то, что можно будет реализовать в ближайшие несколько лет, особенно учитывая потенциал, который эти системы имеют для ускорения очень масштабные и очень дорогие системы искусственного интеллекта, подобные тем, которые используются в популярных текстовых системах GPT, таких как ChatGPT».
Чен, Хамерли и Энглунд подали заявку на патент на работу, которая спонсировалась Исследовательским бюро армии США, NTT Research, Национальной программой стипендий США в области оборонных наук и инженерии, Национальным научным фондом США, Естественными науками и инженерией. Исследовательский совет Канады и Фонд Volkswagen.