Таксономия манипуляции AI

Слово манипуляция неловко стоит в техническом письме. Оно несёт обвинение; оно подразумевает действующее лицо с намерением. В контексте AI действующим лицом иногда оказывается человек, иногда компания, иногда модель, а иногда — ничто опознаваемое: эмерджентный эффект оптимизации вовлечённости. Таксономия Жено в §4.2 делает полезную работу разделения техники от намерения, так что одна и та же карта описывает и откровенную пропагандистскую операцию, и максимизирующий внимание рекомендатель, который «просто» продвигает то, что вызывает самую сильную реакцию.

Ниже — эта таксономия, в сжатом виде. Шесть ячеек. Большинство реальных случаев комбинируют более одной.

I. Эксплуатация когнитивных искажений (гипернаджи)

Техника: обнаружить известное психологическое искажение у конкретного пользователя и преподнести материал, который его эксплуатирует. Меню искажений хорошо картировано — confirmation bias, anchoring, availability, loss aversion, эффект обрамления — и AI приносит два новых ингредиента. Обнаружение в масштабе: рекомендательная система может вывести ваши искажения из истории кликов быстрее и точнее, чем вы их признаете. Персонализированная доставка: одна и та же идея может быть упакована шестью способами, и система подаёт вам ту, которую ваш профиль искажений предсказывает как принимаемую.

Современная фраза — гипернадж: подталкивание, скроенное под одного пользователя, в реальном времени, системой, знающей его лучше, чем он знает себя. Концепция наджа — Санстейна и Талера; гипер — то, что добавляет AI.

II. Алгоритмическая персонализация (персонализированная фильтрация)

Техника: выбирать то, что видит каждый пользователь, из практически бесконечного пула контента, по модели его предпочтений. Сделанное хорошо, это полезно — рекомендованные фильмы, подобранные результаты поиска, входящие, отсортированные по релевантности. Сделанное в масштабе с метрикой вовлечённости, это производит пузыри фильтров: каждого пользователя окружает контент, подкрепляющий то, что он уже предпочитает думать, изолируя от аргументов, которые могли бы его побеспокоить.

Парайзер дал имя пузырю в 2011-м. Полтора десятилетия спустя явление задокументировано на платформах, хорошо профинансированные исследования его измерили, и большинство людей считают себя невосприимчивыми. Третья часть — сама искажение, эксплуатируемое первой.

III. Эмоциональная манипуляция (аффективный контент)

Техника: рассчитывать время и тон контента под аффективное состояние пользователя, используя эмоцию как множитель внимания. Алгоритмы надёжно усиливают разделяющий, тревожный или вызывающий гнев материал, потому что такой материал гонит вовлечённость; пользователи возвращаются в приложения, давшие им сильные эмоции, даже если эмоции были неприятны. Более тонкая форма: коммерческие предложения в моменты эмоциональной уязвимости — реклама фастфуда пользователю, чей паттерн ввода предполагает депрессию; кредит под высокий процент пользователю, чья геолокация предполагает кризис до зарплаты.

Техника всегда была доступна рекламодателям; что меняет AI — скорость и гранулярность таргетинга.

IV. Автоматизированная дезинформация (генеративный AI)

Техника: производить убедительный фальшивый контент — текст, изображение, аудио, видео — в объёмах и качествах, перегружающих способность принимающего проверить. Две нити важнее всего.

Текст: большие языковые модели производят беглую прозу при почти-нулевых предельных издержках, что уже перестроило экономику производства фальшивых новостей. Один оператор может вести издание, требовавшее двадцать лет назад редакции.

Аудиовизуальное (дипфейки): подмены лиц, клоны голосов, сфабрикованное видео. К 2024 году технический порог убедительных подделок упал до потребительского железа. Дипфейк голосового сообщения «президента Байдена» 2024 года в Нью-Гэмпшире — призывавший избирателей-демократов пропустить праймериз — был создан консультантом, чтобы показать опасность, и стал каноническим примером. Реальная атака не объявит о себе.

V. Симулированное социальное влияние (боты и фальшивые агенты)

Техника: представлять управляемые AI аккаунты как настоящих пользователей, чтобы изготовить видимость консенсуса. Механизм стар (клаки, подсадные, проплаченные обзоры); AI его масштабирует. Один оператор может вести тысячи различимых персон, у каждой — правдоподобная история постов, каждая способна вести убедительные разговоры.

Цена на принимающей стороне — не только ложный консенсус, но и более медленная, более глубокая: в мире, где боты — рутина, каждый разговор приобретает маленький новый вопрос — я говорю с человеком? — и это разъедает базовое интерсубъективное доверие, на котором держится публичный дискурс.

VI. Убеждающий дизайн (динамические тёмные паттерны)

Техника: сам пользовательский интерфейс перекраивается в реальном времени, чтобы подталкивать к конкретным действиям. Тёмные паттерны — название, которое дизайн-литература даёт намеренно вводящим в заблуждение интерфейсным выборам — становятся динамическими, когда AI настраивает их под каждого пользователя.

Пример из работы Сассер с коллегами: сайт электронной коммерции, поднимающий отображаемую цену, когда батарея покупателя разряжена, по модели, что пользователи с разряженной батареей более ограничены во времени и менее склонны сравнивать цены.¹ Другие формы: предотмеченные поля согласия, рассчитанные на состояние рассеянности пользователя; потоки отмены подписки, удлиняющиеся по мере детекции эмоционального нежелания пользователя бросить задачу.

Общая нить

Шесть ячеек разделяют структурную черту: они усиливают намеренное влияние на человеческое поведение, делая это влияние менее обнаруживаемым. Ключевое слово — обнаруживаемое. Ни одна из этих техник не беспрецедентна по своей природе. Беспрецедентна асимметрия между осознанием манипуляции производителем и мишенью. Доцифровая пропаганда предполагала бдительную аудиторию и работала всё равно. Манипуляция эпохи AI предполагает, что аудитория её вообще не увидит.

Поэтому ячейки так легко комбинируются. Реальная дезинформационная кампания использует дипфейки (IV), ботов для их распространения (V), микротаргетинг наиболее восприимчивых индивидов (II), и контент, настроенный под их когнитивные искажения (I). Таксономия описывает не разделённые виды; она описывает ингредиенты.

Что следует

Следующие четыре статьи берут каждую из ячеек I-VI по очереди, с литературой случаев: Эксплуатация когнитивных искажений (D.19), Персонализация и поляризация (D.20), Дезинформация в масштабе (D.21), Дипфейки (D.22). Затем Манипуляция воспринимаемой реальностью (D.23) рассматривает более глубокий вопрос — что происходит с разделяемой реальностью, когда какая-либо из ячеек, в масштабе, становится рутиной — а Этические страховочные меры (D.24) намечают регуляторные и проектные ответы, сейчас находящиеся на столе.