В этом месяце в Журнал ACM по ответственным вычислениям, Аспирант Массачусетского технологического института Джонатан Зонг С.М. ’20 и соавтор Дж. Натан Матиас С.М. ’13, доктор философии ’17 из Корнеллской лаборатории граждан и технологий исследуют, как понятие отказа может открыть новые возможности в области этики данных. В своем отчете с открытым доступом «Отказ от данных снизу: основа для понимания, оценки и представления отказа как дизайна» пара предлагает четырехмерную структуру, позволяющую отобразить, как люди могут сказать «нет» злоупотреблениям технологиями. В то же время исследователи утверждают, что, как и дизайн, отказ является порождающим и потенциально может создать альтернативное будущее.
Зонг, кандидат наук в области электротехники и информатики, научный сотрудник MIT Morningside Academy for Design в 2022–2023 годах и член группы визуализации MIT, описывает свою последнюю работу в этих вопросах и ответах.
Вопрос: Как вы определяете понятие «отказ» и откуда оно взялось?
А: Отказ получил развитие в феминистских исследованиях и исследованиях коренных народов. Это идея сказать «нет», не имея разрешения сказать «нет». Такие ученые, как Руха Бенджамин, пишут об отказе в контексте слежки, расы и биоэтики и говорят об этом как о необходимом аналоге согласия. Другие, например авторы «Феминистского манифеста данных-нет», считают отказ чем-то, что может помочь нам построить лучшее будущее.
Бенджамин иллюстрирует случаи, когда выбор отказаться не в равной степени возможен для всех, приводя примеры, связанные с генетическими данными и проверкой беженцев в Великобритании. Дисбаланс сил в этих ситуациях подчеркивает более широкую концепцию отказа, выходящую за рамки отклонения конкретных вариантов и оспаривающую весь набор. из представленных вариантов.
Вопрос: Что вдохновило вас работать над идеей отказа как акта дизайна?
А: В своей работе над этикой данных я думал о том, как включить процессы в сбор исследовательских данных, особенно в отношении согласия и отказа, уделяя особое внимание индивидуальной автономии и идее предоставления людям выбора в отношении способа использования их данных. использовал. Но когда дело доходит до конфиденциальности данных, простого предоставления выбора недостаточно. Выбор может быть неравномерным или создавать безвыходные ситуации, когда все варианты плохи. Это привело меня к концепции отказа: поставить под сомнение авторитет сборщиков данных и бросить вызов их легитимности.
Ключевая идея моей работы заключается в том, что отказ — это акт дизайна. Я думаю об отказе как о целенаправленных действиях по изменению нашего социотехнического ландшафта путем оказания определенного влияния. Как и дизайн, отказ порождает. Как и дизайн, он ориентирован на создание альтернативных возможностей и альтернативного будущего. Дизайн — это процесс исследования или пересечения пространства возможностей. Применение концепции дизайна к случаям отказа, полученным из научных и журналистских источников, позволило мне установить общий язык для разговора об отказе и представить себе отказы, которые еще не исследованы.
Вопрос: Каковы ставки в отношении конфиденциальности и сбора данных?
А: Использование данных для наблюдения за распознаванием лиц в США — яркий пример, который мы используем в статье. Когда люди делают повседневные вещи, например публикуют сообщения в социальных сетях или проходят мимо камер в общественных местах, они могут передавать свои данные для обучения систем распознавания лиц. Например, технологическая компания может взять фотографии с сайта социальной сети и создать систему распознавания лиц, которую затем продать правительству. В США эти системы непропорционально часто используются полицией для слежки за цветными сообществами. Трудно применять такие концепции, как согласие, и отказываться от этих процессов, поскольку они происходят с течением времени и включают в себя различные виды институтов. Также не ясно, повлияет ли индивидуальный отказ на изменение общей ситуации. Тогда отказ становится решающим способом, как на индивидуальном, так и на общественном уровне, задуматься в более широком плане о том, как пострадавшие люди по-прежнему имеют какой-то голос или влияние, не обязательно имея для этого официальный канал.
Вопрос: Как вы думаете, почему эти проблемы особенно затрагивают обездоленные сообщества?
А: Люди, на которых влияют технологии, не всегда участвуют в процессе проектирования этих технологий. Тогда отказ становится значимым выражением ценностей и приоритетов для тех, кто не участвовал в ранних обсуждениях дизайна. Действия, предпринимаемые против таких технологий, как наблюдение за лицами, — будь то судебные баталии против компаний, пропаганда более строгих правил или даже прямые действия, такие как отключение камер наблюдения, — могут не соответствовать традиционному представлению об участии в процессе проектирования. И тем не менее, это действия, доступные отказникам, которые могут быть исключены из других форм участия.
Меня особенно вдохновляет движение вокруг суверенитета данных коренных народов. Такие организации, как Центр информационного управления коренных народов, работают над определением приоритетов интересов коренных народов при сборе данных и отказываются от неадекватного представления в официальных данных о здравоохранении канадского правительства. Я думаю, что это движение иллюстрирует потенциал отказа не только как способ отвергнуть то, что предлагается, но и как средство предложить конструктивную альтернативу, очень похожую на дизайн. Отказ – это не просто отрицание, а путь к иному будущему.
Вопрос: Можете ли вы подробнее рассказать о предлагаемой вами схеме проектирования?
А: Отказы сильно различаются в зависимости от контекста и масштаба. Разработка основы отказа заключается в том, чтобы помочь людям увидеть в действиях, которые, на первый взгляд, очень разные, примеры одной и той же более широкой идеи. Наша структура состоит из четырех аспектов: автономия, время, мощность и стоимость.
Рассмотрим случай, когда IBM создала набор данных для распознавания лиц, используя фотографии людей без согласия. Мы видели, как в ответ возникло множество форм отказа. IBM разрешила людям отказаться от участия, отозвав свои фотографии. Люди коллективно отказались, подав коллективный иск против IBM. Примерно в то же время во многих городах США начали принимать местные законы, запрещающие использование правительством системы распознавания лиц. Оценка этих случаев с помощью системы позволяет выявить общие черты и различия. В этой системе подчеркиваются различные подходы к автономии, такие как индивидуальный отказ и коллективные действия. Что касается времени, отказ от участия и судебные иски реагируют на прошлый вред, в то время как законодательство может активно предотвращать будущий ущерб. Динамика мощности различается; отзыв отдельных фотографий минимально влияет на IBM, в то время как законодательство потенциально может привести к долгосрочным изменениям. А что касается затрат, индивидуальный отказ кажется менее требовательным, в то время как другие подходы требуют больше времени и усилий, сбалансированных с потенциальными выгодами.
Структура облегчает описание случаев и сравнение по этим параметрам. Я думаю, что его порождающая природа также побуждает к исследованию новых форм отказа. Определив характеристики, которые мы хотим видеть в будущих стратегиях отказа — коллективные, проактивные, мощные, недорогие… — мы можем стремиться формировать будущие подходы и менять поведение сборщиков данных. Возможно, мы не всегда сможем объединить все эти критерии, но данная структура предоставляет средства для формулирования наших желаемых целей в этом контексте.
Вопрос: Какое влияние, по вашему мнению, окажет это исследование?
А: Я надеюсь расширить представление о том, кто может участвовать в дизайне и чьи действия рассматриваются как законное выражение вклада в дизайн. Я думаю, что большая часть работы, проделанной до сих пор в обсуждении этики данных, отдает приоритет точке зрения ученых-компьютерщиков, которые пытаются разработать более совершенные системы, в ущерб точке зрения людей, для которых системы в настоящее время не работают. Итак, я надеюсь, что дизайнеры и ученые-компьютерщики смогут принять концепцию отказа как законную форму дизайна и источник вдохновения. Происходит жизненно важный разговор, который должен повлиять на проектирование будущих систем, даже если он будет выражен нетрадиционными средствами.
В статье я хочу подчеркнуть, что дизайн выходит за рамки программного обеспечения. С социотехнической точки зрения процесс проектирования охватывает программное обеспечение, институты, отношения и структуры управления, связанные с использованием данных. Я хочу, чтобы люди, не являющиеся разработчиками программного обеспечения, например политики или активисты, считали себя неотъемлемой частью процесса разработки технологий.