Новое исследование, основанное на прагматике и философии, предлагает способы привести диалоговых агентов в соответствие с человеческими ценностями.
Язык — это важная человеческая черта и основное средство, с помощью которого мы передаем информацию, включая мысли, намерения и чувства. Недавние прорывы в исследованиях искусственного интеллекта привели к созданию диалоговых агентов, которые способны общаться с людьми разными способами. Эти агенты работают на больших языковых моделях — вычислительных системах, обученных на огромных массивах текстовых материалов для прогнозирования и создания текста с использованием передовых статистических методов.
Тем не менее, хотя такие языковые модели, как InstructGPT, Gopher и LaMDA, достигли рекордных уровней производительности при выполнении таких задач, как перевод, ответы на вопросы и понимание прочитанного, было также показано, что эти модели демонстрируют ряд потенциальных рисков и режимов сбоя. К ним относятся использование токсичных или дискриминационных высказываний, а также ложной или вводящей в заблуждение информации. [1, 2, 3].
Эти недостатки ограничивают продуктивное использование диалоговых агентов в прикладных ситуациях и привлекают внимание к тому, что они не соответствуют определенным требованиям. коммуникативные идеалы. На сегодняшний день большинство подходов к настройке диалоговых агентов сосредоточены на прогнозировании и снижении рисков причинения вреда. [4].
В нашей новой статье «В разговоре с ИИ: согласование языковых моделей с человеческими ценностями» используется другой подход, исследующий, как может выглядеть успешное общение между человеком и искусственным диалоговым агентом и какие ценности должны направлять это взаимодействие в различных разговорных областях.
Выводы из прагматики
Для решения этих проблем в статье используется прагматика, традиция лингвистики и философии, согласно которой цель разговора, его контекст и набор связанных с ним норм составляют существенную часть здоровой разговорной практики.
Моделируя разговор как совместную деятельность двух или более сторон, лингвист и философ Пол Грайс считал, что участники должны:
- Говорите информативно
- Говорить правду
- Предоставьте соответствующую информацию
- Избегайте неясных или двусмысленных утверждений.
Однако наша статья показывает, что необходима дальнейшая доработка этих принципов, прежде чем их можно будет использовать для оценки диалоговых агентов, учитывая различия в целях и ценностях, заложенных в разных диалоговых областях.
Дискурсивные идеалы
Например, научные исследования и коммуникации направлены в первую очередь на понимание или предсказание эмпирических явлений. Учитывая эти цели, диалоговый агент, предназначенный для содействия научным исследованиям, в идеале должен делать только утверждения, правдивость которых подтверждена достаточными эмпирическими данными, или иным образом уточнять свои позиции в соответствии с соответствующими доверительными интервалами.
Например, агент, сообщающий, что «На расстоянии 4,246 световых лет Проксима Центавра является ближайшей к Земле звездой», должен делать это только после того, как лежащая в его основе модель проверит соответствие этого утверждения фактам.
Тем не менее, собеседнику, играющему роль модератора в публичном политическом дискурсе, возможно, придется демонстрировать совершенно другие достоинства. В этом контексте целью является, прежде всего, преодоление разногласий и обеспечение продуктивного сотрудничества в жизни сообщества. Следовательно, агенту необходимо будет поставить на первый план демократические ценности терпимости, вежливости и уважения. [5].
Более того, эти ценности объяснять почему создание токсичной или предвзятой речи с помощью языковых моделей часто так проблематично: оскорбительный язык не может передать равное уважение к участникам разговора, что является ключевым значением для контекста, в котором используются модели. В то же время научные достоинства, такие как всестороннее представление эмпирических данных, могут быть менее важными в контексте общественного обсуждения.
Наконец, в области творческого повествования коммуникативный обмен нацелен на новизну и оригинальность, ценности, которые также существенно отличаются от описанных выше. В этом контексте может быть уместным более широкий простор для воображения, хотя по-прежнему важно защищать сообщества от вредоносного контента, создаваемого под видом «творческого использования».
Пути вперед
Это исследование имеет ряд практических последствий для разработки согласованных диалоговых агентов ИИ. Начнем с того, что им нужно будет воплощать разные характеристики в зависимости от контекста, в котором они используются: не существует универсального подхода к согласованию языковой модели. Вместо этого соответствующий режим и стандарты оценки для агента, включая стандарты правдивости, будут различаться в зависимости от контекста и цели разговорного обмена.
Кроме того, диалоговые агенты могут также иметь потенциал для развития более содержательных и уважительных разговоров с течением времени посредством процесса, который мы называем построение и пояснение контекста. Даже когда человек не знает о ценностях, которые управляют данной разговорной практикой, агент все равно может помочь человеку понять эти ценности, предвосхищая их в разговоре, делая ход общения более глубоким и плодотворным для говорящего человека.