Наш подход к анализу и снижению будущих рисков, связанных с передовыми моделями ИИ
Google DeepMind последовательно расширяет границы ИИ, разрабатывая модели, которые меняют наше понимание того, что возможно. Мы верим, что технологии искусственного интеллекта на горизонте предоставят обществу бесценные инструменты, которые помогут решить важнейшие глобальные проблемы, такие как изменение климата, открытие лекарств и экономическая производительность. В то же время мы понимаем, что по мере того, как мы продолжаем расширять границы возможностей ИИ, эти прорывы могут в конечном итоге повлечь за собой новые риски, помимо тех, которые представляют собой современные модели.
Сегодня мы представляем нашу Frontier Safety Framework — набор протоколов для упреждающего выявления будущих возможностей ИИ, которые могут нанести серьезный вред, и внедрения механизмов для их обнаружения и смягчения. Наша концепция фокусируется на серьезных рисках, возникающих в результате мощных возможностей на уровне модели, таких как исключительные агентские возможности или сложные кибервозможности. Он призван дополнить наши исследования по согласованию, которые обучают модели действовать в соответствии с человеческими ценностями и социальными целями, а также существующим набором методов ответственности и безопасности Google в области искусственного интеллекта.
Рамочная основа носит исследовательский характер, и мы ожидаем, что она будет значительно развиваться по мере того, как мы будем учиться на ее реализации, углублять наше понимание рисков и оценок ИИ, а также сотрудничать с промышленностью, научными кругами и правительством. Несмотря на то, что эти риски находятся за пределами досягаемости современных моделей, мы надеемся, что внедрение и совершенствование Рамочной программы поможет нам подготовиться к их устранению. Мы стремимся полностью реализовать эту первоначальную структуру к началу 2025 года.
Рамочная основа
Первая версия платформы, анонсированная сегодня, основана на наших исследованиях по оценке критически важных возможностей в пограничных моделях и следует новому подходу ответственного масштабирования возможностей. Структура состоит из трех ключевых компонентов:
- Определение возможностей модели, которые могут привести к серьезному вреду. Для этого мы исследуем пути, по которым модель может нанести серьезный вред в областях высокого риска, а затем определяем минимальный уровень возможностей, которыми должна обладать модель, чтобы сыграть роль в причинении такого вреда. Мы называем их «уровнями критических возможностей» (CCL), и они определяют наш подход к оценке и смягчению последствий.
- Периодическая оценка наших передовых моделей, чтобы определить, когда они достигают этих критических уровней возможностей. Для этого мы разработаем наборы оценок модели, называемые «оценками раннего предупреждения», которые будут предупреждать нас, когда модель приближается к CCL, и запускать их достаточно часто, чтобы мы могли уведомить об этом до достижения этого порога.
- Применение плана смягчения последствий, когда модель проходит нашу оценку раннего предупреждения. При этом следует учитывать общий баланс преимуществ и рисков, а также предполагаемый контекст развертывания. Эти меры по смягчению последствий будут сосредоточены в первую очередь на безопасности (предотвращении кражи моделей) и развертывании (предотвращении неправильного использования критически важных возможностей).
Области риска и уровни смягчения
Наш первоначальный набор критических уровней возможностей основан на исследовании четырех областей: автономность, биобезопасность, кибербезопасность и исследования и разработки в области машинного обучения (НИОКР). Наше первоначальное исследование показывает, что возможности будущих моделей фундаментов, скорее всего, будут представлять серьезные риски в этих областях.
Что касается автономности, кибербезопасности и биобезопасности, наша основная цель — оценить степень, в которой субъекты угроз могут использовать модель с расширенными возможностями для выполнения вредоносных действий с серьезными последствиями. В исследованиях и разработках в области машинного обучения основное внимание уделяется тому, позволят ли модели с такими возможностями распространять модели с другими критически важными возможностями или обеспечивать быстрое и неуправляемое расширение возможностей ИИ. По мере того, как мы проводим дальнейшие исследования в этих и других областях риска, мы ожидаем, что эти CCL будут развиваться, а также будут добавлены несколько CCL на более высоких уровнях или в других областях риска.
Чтобы мы могли адаптировать силу мер по снижению риска к каждому CCL, мы также наметили набор мер по обеспечению безопасности и развертыванию. Меры по снижению безопасности более высокого уровня приводят к большей защите от кражи весов модели, а меры по снижению рисков при развертывании более высокого уровня позволяют более жестко управлять критически важными возможностями. Однако эти меры могут также замедлить темпы инноваций и уменьшить широкую доступность возможностей. Достижение оптимального баланса между снижением рисков и содействием доступу и инновациям имеет первостепенное значение для ответственного развития ИИ. Сопоставляя общие преимущества с рисками и принимая во внимание контекст разработки и внедрения моделей, мы стремимся обеспечить ответственный прогресс ИИ, который раскрывает преобразовательный потенциал и одновременно защищает от непредвиденных последствий.
Инвестиции в науку
Исследования, лежащие в основе Рамочной программы, только зарождаются и быстро продвигаются. Мы вложили значительные средства в нашу команду Frontier Safety, которая координировала межфункциональные усилия, лежащие в основе нашей структуры. В их задачу входит развитие науки об оценке пограничных рисков и совершенствование нашей системы на основе наших улучшенных знаний.
Команда разработала пакет оценки для оценки рисков, связанных с критическими возможностями, уделяя особое внимание автономным агентам LLM, и протестировала его на наших современных моделях. Их недавняя статья, описывающая эти оценки, также исследует механизмы, которые могли бы сформировать будущую «систему раннего предупреждения». В нем описаны технические подходы к оценке того, насколько модель близка к успеху в решении задачи, с которой она в настоящее время не справляется, а также включены прогнозы о будущих возможностях группы экспертов-прогнозистов.
Оставаясь верными нашим принципам искусственного интеллекта
Мы будем периодически пересматривать и дорабатывать Рамочную основу. В частности, по мере того, как мы пилотируем структуру и углубляем наше понимание областей риска, CCL и контекстов развертывания, мы продолжим нашу работу по калибровке конкретных мер по снижению риска для CCL.
В основе нашей работы лежат принципы искусственного интеллекта Google, которые обязывают нас добиваться всеобщей выгоды при одновременном снижении рисков. По мере совершенствования наших систем и увеличения их возможностей такие меры, как Frontier Safety Framework, будут гарантировать, что наша практика продолжит соответствовать этим обязательствам.
Мы рассчитываем на сотрудничество с другими представителями промышленности, научных кругов и правительства для разработки и усовершенствования Рамочной основы. Мы надеемся, что обмен нашими подходами облегчит работу с другими по согласованию стандартов и лучших практик оценки безопасности будущих поколений моделей ИИ.