При поиске рейсов в Google вы, возможно, заметили, что оценка выбросов углекислого газа для каждого рейса теперь отображается рядом с его стоимостью. Это способ информировать клиентов об их воздействии на окружающую среду и позволить им учитывать эту информацию при принятии решений.
Подобная прозрачность пока не существует в компьютерной отрасли, несмотря на то, что выбросы углекислого газа в ней превышают выбросы всей авиационной отрасли. Рост спроса на энергию вызывают модели искусственного интеллекта. Огромные популярные модели, такие как ChatGPT, сигнализируют о тенденции крупномасштабного искусственного интеллекта, подтверждая прогнозы, согласно которым центры обработки данных будут потреблять до 21 процента мирового электроснабжения к 2030 году.
Суперкомпьютерный центр лаборатории Линкольна Массачусетского технологического института (LLSC) разрабатывает методы, которые помогут центрам обработки данных сократить потребление энергии. Их методы варьируются от простых, но эффективных изменений, таких как аппаратное обеспечение с ограничением энергопотребления, до внедрения новых инструментов, которые могут остановить обучение ИИ на раннем этапе. Важно отметить, что они обнаружили, что эти методы оказывают минимальное влияние на производительность модели.
В более широком плане их работа направлена на мобилизацию исследований в области «зеленых» вычислений и продвижение культуры прозрачности. «Вычисления с учетом энергопотребления на самом деле не являются областью исследований, потому что все хранят свои данные», — говорит Виджей Гадепалли, старший сотрудник LLSC, который возглавляет исследования в области энергосбережения. «Кто-то должен начать, и мы надеемся, что другие последуют за ним».
Ограничение мощности и охлаждение
Как и во многих центрах обработки данных, в LLSC наблюдается значительный рост количества задач искусственного интеллекта, выполняемых на его оборудовании. Заметив рост энергопотребления, ученые-компьютерщики из LLSC заинтересовались способами более эффективного выполнения работ. Зеленые вычисления — это принцип центра, который полностью работает на безуглеродной энергии.
Обучение модели ИИ — процесс, с помощью которого она изучает закономерности на основе огромных наборов данных — требует использования графических процессоров (GPU), которые являются энергоемким оборудованием. Например, графические процессоры, которые обучали GPT-3 (предшественник ChatGPT), по оценкам, потребляли 1300 мегаватт-часов электроэнергии, что примерно равно тому, что используют 1450 средних домохозяйств в США в месяц.
В то время как большинство людей ищут графические процессоры из-за их вычислительной мощности, производители предлагают способы ограничить количество энергии, которую графический процессор может потреблять. «Мы изучили последствия ограничения мощности и обнаружили, что можем снизить потребление энергии примерно на 12–15 процентов, в зависимости от модели», — говорит Сиддхарт Самси, исследователь из LLSC.
Компромиссом в ограничении мощности является увеличение времени выполнения задачи — графическим процессорам потребуется примерно на 3 процента больше времени для выполнения задачи, и это увеличение, по словам Гадепалли, «едва заметно», учитывая, что модели часто обучаются в течение нескольких дней или даже месяцев. В одном из экспериментов, в которых они обучали популярную языковую модель BERT, ограничение мощности графического процессора до 150 Вт привело к увеличению времени обучения на два часа (с 80 до 82 часов), но сэкономило энергию, эквивалентную неделе потребления энергии в американском домохозяйстве.
Затем команда создала программное обеспечение, которое включает эту возможность ограничения энергопотребления в широко используемую систему планировщика Slurm. Программное обеспечение позволяет владельцам центров обработки данных устанавливать ограничения для всей системы или для каждого отдельного задания.
«Мы можем развернуть это вмешательство сегодня, и мы сделали это во всех наших системах», — говорит Гадепалли.
Появились и побочные выгоды. С момента введения ограничений по энергопотреблению графические процессоры на суперкомпьютерах LLSC работают примерно на 30 градусов по Фаренгейту при температуре ниже и при более стабильной температуре, что снижает нагрузку на систему охлаждения. Использование аппаратного охладителя потенциально может также повысить надежность и срок службы. Теперь они могут рассмотреть возможность отсрочки покупки нового оборудования — снижения «воплощенного углерода» центра или выбросов, возникающих в результате производства оборудования — до тех пор, пока эффективность, достигнутая за счет использования нового оборудования, не компенсирует этот аспект углеродного следа. Они также находят способы сократить потребности в охлаждении, стратегически планируя работу в ночное время и в зимние месяцы.
«Центры обработки данных могут использовать эти простые в реализации подходы уже сегодня для повышения эффективности, не требуя внесения изменений в код или инфраструктуру», — говорит Гадепалли.
Комплексный взгляд на работу центра обработки данных с целью поиска возможностей сокращения может занять много времени. Чтобы облегчить этот процесс другим, команда — в сотрудничестве с профессором Девешем Тивари и Баолином Ли из Северо-Восточного университета — недавно разработала и опубликовала комплексную структуру для анализа углеродного следа высокопроизводительных вычислительных систем. Системные специалисты могут использовать эту структуру анализа, чтобы лучше понять, насколько устойчива их текущая система, и рассмотреть возможность изменений для систем следующего поколения.
Настройка способа обучения и использования моделей
Помимо внесения изменений в работу центров обработки данных, команда разрабатывает способы повышения эффективности разработки моделей искусственного интеллекта.
При обучении моделей разработчики ИИ часто сосредотачиваются на повышении точности и в качестве отправной точки используют предыдущие модели. Чтобы добиться желаемого результата, им нужно выяснить, какие параметры использовать, и чтобы сделать это правильно, может потребоваться тестирование тысяч конфигураций. Этот процесс, называемый оптимизацией гиперпараметров, является одной из областей, которую исследователи LLSC сочли созревшей для сокращения потерь энергии.
«Мы разработали модель, которая в основном учитывает скорость обучения конкретной конфигурации», — говорит Гадепалли. Учитывая эту скорость, их модель предсказывает вероятную производительность. Неэффективные модели прекращают работу раньше. «Мы можем заранее дать вам очень точную оценку того, что лучшая модель будет входить в 10 лучших моделей из 100», — говорит он.
В их исследованиях такая ранняя остановка привела к значительной экономии: на 80 процентов сократилось количество энергии, затрачиваемой на обучение моделей. Они применили эту технику к моделям, разработанным для компьютерного зрения, обработки естественного языка и дизайна материалов.
«По моему мнению, этот метод имеет самый большой потенциал для улучшения обучения моделей ИИ», — говорит Гадепалли.
Обучение — это лишь одна часть выбросов модели ИИ. Наибольший вклад в выбросы с течением времени вносит вывод модели или процесс запуска модели в реальном времени, например, когда пользователь общается в ChatGPT. Чтобы быстро реагировать, эти модели используют резервное оборудование, работающее все время и ожидающее, пока пользователь задаст вопрос.
Один из способов повысить эффективность вывода — использовать наиболее подходящее оборудование. Также совместно с Северо-Восточным университетом команда создала оптимизатор, который соответствует модели с наиболее углеродоэффективным сочетанием аппаратного обеспечения, таким как мощные графические процессоры для вычислительно интенсивных частей вывода и маломощные центральные процессоры (ЦП) для менее интенсивных вычислений. – требовательные аспекты. Эта работа недавно получила награду за лучший доклад на Международном симпозиуме ACM по высокопроизводительным параллельным и распределенным вычислениям.
Использование этого оптимизатора может снизить потребление энергии на 10–20 процентов, сохраняя при этом тот же «целевой показатель качества обслуживания» (насколько быстро модель может реагировать).
Этот инструмент особенно полезен для облачных клиентов, которые арендуют системы в центрах обработки данных и должны выбирать оборудование из тысяч вариантов. «Большинство клиентов переоценивают свои потребности; они выбирают слишком мощное оборудование только потому, что не знают ничего лучшего», — говорит Гадепалли.
Растущая осведомленность об экологических компьютерах
Энергия, сэкономленная за счет реализации этих мер, также снижает связанные с этим затраты на разработку ИИ, часто в соотношении один к одному. Фактически, стоимость обычно используется в качестве показателя потребления энергии. Учитывая такую экономию, почему больше центров обработки данных не инвестируют в экологически чистые технологии?
«Я думаю, что это своего рода проблема несоответствия стимулов», — говорит Самси. «Была такая гонка за создание более крупных и лучших моделей, что почти все второстепенные соображения были отброшены в сторону».
Они отмечают, что, хотя некоторые центры обработки данных покупают кредиты на возобновляемые источники энергии, этих возобновляемых источников энергии недостаточно для покрытия растущих потребностей в энергии. Большинство центров обработки данных получают электроэнергию из ископаемого топлива, а вода, используемая для охлаждения, способствует перенапряжению водоразделов.
Нерешительность может существовать и потому, что не проводились систематические исследования методов энергосбережения. Вот почему команда продвигает свои исследования на рецензируемых площадках в дополнение к репозиториям с открытым исходным кодом. Некоторые крупные игроки отрасли, такие как Google DeepMind, применили машинное обучение для повышения эффективности центров обработки данных, но не сделали свою работу доступной для развертывания или тиражирования другими.
Ведущие конференции по искусственному интеллекту сейчас настаивают на принятии этических заявлений, в которых рассматривается возможность злоупотребления ИИ. Команда рассматривает климатический аспект как тему этики ИИ, которой пока не уделяется много внимания, но она, похоже, медленно меняется. Некоторые исследователи теперь раскрывают углеродный след обучения новейших моделей, а промышленность также демонстрирует сдвиг в прозрачности энергетики, как это показано в недавнем отчете Meta AI.
Они также признают, что прозрачность затруднена без инструментов, которые могут показать разработчикам ИИ их потребление. Отчетность включена в дорожную карту ООО на этот год. Они хотят иметь возможность показывать каждому пользователю LLSC для каждой работы, сколько энергии он потребляет и как это количество соотносится с другими, аналогично отчетам об энергопотреблении дома.
Часть этих усилий требует более тесного сотрудничества с производителями оборудования, чтобы сделать получение этих данных с оборудования более простым и точным. Если производители смогут стандартизировать способ считывания данных, тогда инструменты энергосбережения и отчетности можно будет применять на разных аппаратных платформах. Между исследователями LLSC и Intel ведется сотрудничество для работы над этой самой проблемой.
Даже те разработчики ИИ, которые осознают интенсивные потребности ИИ в энергии, самостоятельно мало что могут сделать, чтобы ограничить это потребление энергии. Команда LLSC хочет помочь другим центрам обработки данных применить эти меры и предоставить пользователям варианты энергосбережения. Их первое партнерство заключено с ВВС США, спонсором этого исследования, которые управляют тысячами центров обработки данных. Применение этих методов может существенно снизить энергопотребление и стоимость.
«Мы передаем контроль в руки разработчиков ИИ, которые хотят уменьшить свое влияние», — говорит Гадепалли. «Действительно ли мне нужно безвозмездно обучать бесперспективные модели? Готов ли я работать медленнее на своих графических процессорах ради экономии энергии? Насколько нам известно, ни один другой суперкомпьютерный центр не позволяет вам рассматривать эти варианты. Используя наши инструменты сегодня, вы сами решаете».
Посетите эту веб-страницу, чтобы ознакомиться с публикациями группы, посвященными энергосберегающим вычислениям, и выводами, описанными в этой статье.