Вычислительная техника находится в переломном моменте. Закон Мура, который предсказывает, что количество транзисторов на электронном чипе будет удваиваться каждый год, замедляется из-за физических ограничений, связанных с установкой большего количества транзисторов на доступные микрочипы. Рост мощности компьютеров замедляется по мере роста спроса на высокопроизводительные компьютеры, способные поддерживать все более сложные модели искусственного интеллекта. Это неудобство побудило инженеров исследовать новые методы расширения вычислительных возможностей своих машин, но решение остается неясным.
Фотонные вычисления — одно из потенциальных средств решения растущих вычислительных потребностей моделей машинного обучения. Вместо использования транзисторов и проводов эти системы используют фотоны (микроскопические частицы света) для выполнения вычислительных операций в аналоговой области. Лазеры производят эти небольшие сгустки энергии, которые движутся со скоростью света, как космический корабль, летящий на варп-скорости в научно-фантастическом фильме. Когда к программируемым ускорителям, таким как сетевая карта (NIC и ее расширенный аналог, SmartNIC), добавляются фотонные вычислительные ядра, полученное оборудование можно подключить к турбонаддуву стандартного компьютера.
Исследователи Массачусетского технологического института теперь используют потенциал фотоники для ускорения современных вычислений, продемонстрировав ее возможности в машинном обучении. Их фотонно-электронный реконфигурируемый SmartNIC, получивший название «Lightning», помогает глубоким нейронным сетям — моделям машинного обучения, имитирующим то, как мозг обрабатывает информацию, — выполнять задачи вывода, такие как распознавание изображений и генерация языка, в чат-ботах, таких как ChatGPT. Новый дизайн прототипа обеспечивает впечатляющую скорость, создавая первую фотонную вычислительную систему, обслуживающую запросы машинного обучения в режиме реального времени.
Несмотря на свой потенциал, основная проблема при внедрении фотонных вычислительных устройств заключается в том, что они пассивны, то есть им не хватает памяти или инструкций для управления потоками данных, в отличие от их электронных аналогов. Предыдущие фотонные вычислительные системы сталкивались с этим узким местом, но Lightning устраняет это препятствие, обеспечивая бесперебойное перемещение данных между электронными и фотонными компонентами.
«Фотонные вычисления продемонстрировали значительные преимущества в ускорении объемных линейных вычислительных задач, таких как умножение матриц, в то время как электроника должна позаботиться обо всем остальном: доступе к памяти, нелинейных вычислениях и условной логике. Это создает значительный объем данных для обмена между фотоникой и электроникой для выполнения реальных вычислительных задач, таких как запрос на вывод машинного обучения», — говорит Чжижен Чжун, постдок в группе доцента Массачусетского технологического института Мани Гобади в Массачусетском технологическом институте компьютерных наук. и Лаборатория искусственного интеллекта (CSAIL). «Управление этим потоком данных между фотоникой и электроникой было ахиллесовой пятой прошлых современных работ в области фотонных вычислений. Даже если у вас есть сверхбыстрый фотонный компьютер, вам нужно достаточно данных, чтобы обеспечить его работу без зависаний. В противном случае у вас есть суперкомпьютер, который просто простаивает и не производит никаких разумных вычислений».
Гобади, доцент факультета электротехники и информатики (EECS) Массачусетского технологического института и член CSAIL, и ее коллеги по группе первыми выявили и решили эту проблему. Чтобы совершить этот подвиг, они объединили скорость фотоники и возможности управления потоками данных электронных компьютеров.
До появления Lightning фотонные и электронные вычислительные схемы работали независимо и говорили на разных языках. Гибридная система команды отслеживает необходимые вычислительные операции на пути передачи данных, используя реконфигурируемую абстракцию подсчета действий, которая соединяет фотонику с электронными компонентами компьютера. Эта программная абстракция функционирует как единый язык между ними, контролируя доступ к проходящим потокам данных. Информация, переносимая электронами, преобразуется в свет в виде фотонов, которые работают со скоростью света, помогая выполнить задачу вывода. Затем фотоны преобразуются обратно в электроны для передачи информации на компьютер.
Путем плавного соединения фотоники с электроникой новая абстракция счета-действия делает возможной высокую частоту вычислений Lightning в реальном времени. В предыдущих попытках использовался подход «стоп-и-иди», а это означало, что данным будет препятствовать гораздо более медленное управляющее программное обеспечение, которое принимает все решения о его движениях. «Создание фотонной вычислительной системы без абстракции программирования счетного действия — это все равно, что пытаться управлять Lamborghini, не умея водить машину», — говорит Гобади, старший автор статьи. “Что бы вы сделали? Вероятно, вы держите в одной руке руководство по вождению, затем нажимаете сцепление, затем проверяете руководство, затем отпускаете тормоз, затем проверяете руководство и так далее. Это операция «стоп-и-гоу», потому что для каждого решения вам нужно проконсультироваться с какой-то организацией более высокого уровня, которая скажет вам, что делать. Но мы ездим не так; мы учимся водить машину, а затем используем мышечную память, не сверяясь с инструкцией или правилами вождения за рулем. Наша абстракция программирования подсчета действий действует как мышечная память в Lightning. Он плавно управляет электронами и фотонами в системе во время работы».
Экологичное решение
Сервисы машинного обучения, выполняющие задачи на основе логического вывода, такие как ChatGPT и BERT, в настоящее время требуют тяжелых вычислительных ресурсов. Они не только дорогие — некоторые оценки показывают, что ChatGPT требует 3 миллиона долларов в месяц, но они также вредны для окружающей среды, потенциально выбрасывая в атмосферу более чем в два раза больше углекислого газа, чем средний человек. Молния использует фотоны, которые движутся быстрее, чем электроны в проводах, генерируя при этом меньше теплачто позволяет ему выполнять вычисления на более высокой частоте и при этом быть более энергоэффективным.
Чтобы измерить это, группа Гобади сравнила свое устройство со стандартными графическими процессорами, блоками обработки данных, SmartNIC и другими ускорителями, синтезировав чип Lightning. Команда заметила, что Lightning более энергоэффективен при выполнении запросов на вывод. «Наши исследования по синтезу и моделированию показывают, что Lightning снижает энергопотребление на основе машинного обучения на порядки по сравнению с современными ускорителями», — говорит Мингран Янг, аспирант лаборатории Гобади и соавтор статьи. Будучи более экономичным и быстрым вариантом, Lightning представляет собой потенциальное обновление для центров обработки данных, позволяющее сократить выбросы углекислого газа в модели машинного обучения и одновременно ускорить время отклика для пользователей.
Дополнительными авторами статьи являются постдок MIT CSAIL Хома Исфаханизаде и студент бакалавриата Лиам Кронман, а также доцент MIT EECS Дирк Инглунд и трое недавних выпускников кафедры: Джей Ланг ’22, MEng ’23; Кристиан Уильямс ’22, Мэн ’23; и Александр Слуддс ’18, MEng’19, доктор философии ’23. Их исследования были частично поддержаны программой DARPA FastNICs, программой ARPA-E ENLITENED, ускорителем искусственного интеллекта DAF-MIT, исследовательским бюро армии США через Институт солдатских нанотехнологий, грантами Национального научного фонда (NSF), Центр квантовых сетей NSF и стипендия Слоана.
В этом месяце группа представит свои выводы Специальной группе по передаче данных Ассоциации вычислительной техники (SIGCOMM).