В ходе семинара был поднят ряд важных вопросов. Например, необходимость различать разные временные масштабы, для которых могут быть созданы дорожные карты, и разные точки зрения (хороший/плохой сценарий, разные точки зрения действующих лиц и т. д.)
Проблема со шкалой времени
Дорожная карта часто является субъективным усилием, и поэтому существует несколько подходов к созданию дорожных карт. Одной из первых проблем, с которой столкнулись во время семинара, была разница во времени. Дорожная карта, созданная с учетом ближайших вех, будет значительно отличаться от долгосрочных дорожных карт, тем не менее, обе временные шкалы взаимозависимы. Вместо того, чтобы явно рассматривать краткосрочные/долгосрочные дорожные карты, было бы полезно рассмотреть их вероятностно. Например, какую дорожную карту можно построить, если вероятность того, что общий ИИ будет разработан в течение следующих 15 лет, составляет 25%, а вероятность достижения этой цели через 15–400 лет — 75%?
Рассмотрение гонки ИИ в разных временных масштабах, вероятно, приведет к различным аспектам, на которых следует сосредоточиться. Например, каждый актер может ожидать разную скорость достижения первой общей системы ИИ. Это может оказать существенное влияние на создание дорожной карты и должно быть включено осмысленным и надежным способом. Например, Мальчик, который кричал волк Ситуация может снизить установившееся доверие между участниками и ослабить связи между разработчиками, исследователями безопасности и инвесторами. Это, в свою очередь, может привести к уменьшению веры в разработку первой общей системы ИИ в нужное время. Например, низкая уверенность в быстром появлении ОИИ может привести к неправильному расчету рисков небезопасного развертывания ОИИ злоумышленником.
Кроме того, были идентифицированы два очевидных временных «куска», которые также приводят к существенно разным проблемам, которые необходимо решить. Эпоха до и после AGI, то есть до того, как будет разработан первый общий ИИ, по сравнению со сценарием после того, как кто-то станет обладателем такой технологии.
На семинаре обсуждение было сосредоточено в основном на эпохе до AGI, поскольку предотвращение гонки ИИ должно быть профилактическим, а не лечебным усилием. Первый пример дорожной карты (рис. 1), представленный здесь, охватывает период до появления AGI, а второй план (рис. 2), созданный GoodAI до начала семинара, фокусируется на периоде, предшествующем созданию ОИИ.
Проблема с точкой зрения
Мы определили обширный (но не исчерпывающий) список участников, которые могут участвовать в гонке ИИ, действий, предпринимаемых ими и другими, а также среду, в которой происходит гонка, и состояния, между которыми происходит переход всего процесса. . В таблице 1 представлены идентифицированные компоненты. Планирование одной и той же проблемы с разных точек зрения может помочь выявить новые сценарии и риски.
Моделирование и исследование дилемм принятия решений различными участниками часто приводило к тому, что сотрудничество могло способствовать распространению мер безопасности ИИ и уменьшать серьезность динамики гонки.
Вопрос сотрудничества
Сотрудничество между многими участниками, а также дух доверия и сотрудничества в целом, скорее всего, снизят расовую динамику во всей системе. Начиная с сотрудничества между различными участниками с низкими ставками, такого как совместное развитие талантов или сотрудничество между исследователями в области безопасности и промышленностью, должно обеспечиваться постепенное укрепление доверия и лучшее понимание возникающих проблем.
Активное сотрудничество между экспертами по безопасности и лидерами отрасли ИИ, в том числе сотрудничество между различными компаниями-разработчиками ИИ по вопросам безопасности ИИ, например, может привести к более тесным связям и положительному распространению информации вверх по цепочке, вплоть до регулирующих органов. уровни. Практический подход к исследованию безопасности с использованием работающих прототипов, скорее всего, даст лучшие результаты, чем чисто теоретическая аргументация.
Одной из областей, требующих дальнейшего изучения в этом отношении, являются формы сотрудничества, которые могут показаться интуитивно понятными, но могут снизить безопасность разработки ИИ. [1].
Вполне естественно, что любой здравомыслящий разработчик хотел бы, чтобы его система ИИ не причиняла вреда ее создателю и человечеству, будь то узкий ИИ или система общего ИИ. У злостного деятеля предположительно есть мотивация хотя бы не навредить себе.
При рассмотрении различных стимулов для развития, ориентированного на безопасность, нам необходимо найти надежный стимул (или их комбинацию), который подтолкнет даже неизвестных участников к полезному A(G)I или, по крайней мере, A(G)I, который может быть реализован. контролируемый [6].
Связывание временных рамок и вопросов сотрудничества
Чтобы предотвратить возникновение негативного сценария, полезно связать воедино разные временные горизонты (ожидаемую скорость прибытия ОИИ) и сотрудничество. Конкретные проблемы безопасности ИИ (интерпретируемость, предотвращение предвзятости и т. д.) [7] являются примерами практически важных вопросов, которые необходимо решать немедленно и коллективно. В то же время те же вопросы связаны с предположительно более длительным горизонтом развития ОИИ. Указание на такие опасения может способствовать сотрудничеству в области безопасности ИИ между различными разработчиками независимо от их прогнозируемого горизонта создания ОИИ.
Формы сотрудничества, максимально повышающие безопасность ИИ
Поощрение сообщества ИИ к обсуждению и попыткам решения таких проблем, как гонка ИИ, необходимо, однако этого может быть недостаточно. Нам необходимо найти лучшие и более сильные стимулы для привлечения участников из более широкого спектра, выходящих за рамки тех, кто традиционно связан с разработкой систем ИИ. Сотрудничество можно развивать с помощью многих сценариев, таких как:
- Исследования безопасности ИИ проводятся открыто и прозрачно,
- Доступ к исследованиям в области безопасности является бесплатным и анонимным: каждый может получить помощь и использовать базу знаний без необходимости раскрывать себя или то, над чем он работает, и без страха потерять конкурентное преимущество (своего рода «горячая линия безопасности ИИ»). ),
- Альянсы инклюзивны по отношению к новым членам,
- Новым членам разрешается и поощряется постепенное вступление в программы глобального сотрудничества и альянсы, что должно способствовать укреплению доверия и минимизировать нагрузку на все вовлеченные стороны. Примером постепенного включения в союз или программу сотрудничества является начало сотрудничества по малозначительным вопросам с точки зрения экономической конкуренции, как отмечалось выше.
В этом посте мы описали наши первые шаги по преодолению гонки ИИ. Мы приглашаем вас присоединиться к обсуждению и помочь нам постепенно придумать способы, как свести к минимуму опасность схождения к состоянию, в котором это может быть проблемой.
Институт дорожной карты ИИ продолжит работу над составлением дорожной карты гонки ИИ, выявляя дополнительных участников, распознавая еще невиданные перспективы, временные масштабы и горизонты, а также ища сценарии снижения рисков. Мы продолжим организовывать семинары для обсуждения этих идей и публиковать созданные нами дорожные карты. В конечном итоге мы поможем построить и запустить Избегание гонок ИИ раунд General AI Challenge. Наша цель состоит в том, чтобы привлечь более широкое исследовательское сообщество и предоставить ему прочную основу, чтобы максимизировать возможность решения этой сложной проблемы.
Оставайтесь с нами, а еще лучше присоединяйтесь.