Первые шесть секций энциклопедии описывают, что AI делает с мышлением. Эта секция описывает, кто использует AI, чтобы делать что-то с мышлением. Она начинается с государств и продолжается в F.36 корпорациями. Эти двое не всегда выровнены и не всегда в противостоянии; самые следственные эффекты часто возникают из их перекрытия.
Предельный случай: социальный кредит
Самый полно реализованный пример государственного применения AI для поведенческого контроля — китайская система социального кредита. Архитектура знакома по частям — каждое современное государство собирает финансовые, административные данные и данные передвижения, — но интеграция беспрецедентна. Алгоритмы непрерывно агрегируют транзакции, административные записи, активность в соцсетях и геолокацию в поведенческий балл.1 Соответствие нормам (своевременная оплата, послушание ПДД, заявленное участие в общине) поднимает балл; мелкие правонарушения, просрочки или политически подозрительные взаимодействия его опускают.
У балла есть последствия. Ограничения на путешествия, отказ в определённых государственных услугах, исключение из конкретных школ или работ. Механизм — не чистый надзор; это автоматизированная награда и санкция. Государству не нужно поймать вас, чтобы наказать. Система ловит вас, оценивает вас, а последствия следуют как бюрократические факты.
Анализ Райта этой архитектуры наблюдает, что алгоритмический надзор позволяет властям «следить за населением, анализировать и контролировать его более интимно, чем когда-либо ранее».1 Слово интимно существенно. Доцифровой надзор плохо масштабировался — всегда было слишком много населения для слишком немногих агентов. AI-надзор масштабируется идеально, и потому меняет свой характер: он больше не эпизодический, а непрерывный; не реактивный, а упреждающий.
Поведенческий эффект — самая глубокая часть. Граждане знают, что система смотрит; они адаптируются соответственно. Многие из предпочитаемых режимом поведений производятся не принуждением, а ожидаемым принуждением. Механизм — паноптикон, отмасштабированный и автоматизированный.
Демократическая версия
Соблазн, читая пример с социальным кредитом, — рассматривать его как проблему авторитарного правления: присутствует в Китае, отсутствует здесь. Соблазн неверен. Демократии разворачивают AI на уровне населения способами, существенно перекрывающимися с архитектурой социального кредита, даже там, где политическое наклонение отличается. Краткий обзор:
Адаптивная инфраструктура. Города используют AI для управления дорожным движением — адаптивные светофоры, динамическое ценообразование пробок, рекомендации по перемаршрутизации — для обеспечения соблюдения ПДД и снижения загрязнения. Привычки передвижения меняются в ответ. Вмешательство доброжелательно по намерению и едва обсуждается политически; оно также — ясный пример модификации поведения на масштабе населения алгоритмом.
Предсказательное обеспечение исполнения. Налоговые органы и администраторы пособий используют предсказательную аналитику для пометки риска мошенничества, затем рассылают персонализированные «наджи» — автоматические напоминания, целевые сообщения, отмеченные собеседования. Нидерландский toeslagenaffaire 2013-2019 (скандал с пособиями на детей), в котором алгоритмическая модель риска пометила тысячи в основном иммигрантских семей за мошенничество с пособиями, которого они не совершали, — назидательная история. Модель была непрозрачной; апелляционный процесс был неадекватным; вред всплыл годами.
Управление общественным здоровьем. Во время COVID-19 правительства по всему миру разворачивали приложения отслеживания контактов, модели охвата вакцинацией и общественные сообщения, управляемые AI. Часть этого была прямолинейно полезна. Часть включала поведенческий таргетинг на масштабе населения на той же архитектуре, что и коммерческая реклама, с целями общественного здоровья, заменяющими коммерческие.
Государственная дезинформация. Более острый регистр. Государственно аффилированные акторы использовали дипфейки для политических целей — сфабрикованное видео 2022 года с президентом Зеленским, призывающим украинских военных сдаться, — канонический пример.2 Дипфейк Зеленского был неубедительным и обнаружен в течение часов; следующий не будет.
Два сценария
§7.4 у Жено намечает два проспективных сценария на следующее десятилетие государственного использования AI. Это не предсказания; это рамки, которые стоит держать рядом.
Сценарий A — каналированный. Строгое законодательство (Закон ЕС об AI и его преемники), классифицирующее системы влияния высокого риска и ограничивающее их применение в политических контекстах. Обязательная прозрачность алгоритмов государственного сектора; право на объяснение; запрещённые категории манипулятивных практик. Государства используют AI для улучшения услуг, ограничивая его вторжение в частную и политическую сферы. Демократический баланс сохранён проактивным управлением.
Сценарий B — цифровой авторитаризм. Интеграция AI углубляется в отсутствие обязывающих ограничений. Административное государство приобретает возможности архитектуры социального кредита без явной идеологии — «мягкая» версия, не менее эффективная. Индивидуальная свобода становится обусловленной, на практике, разборчивостью для алгоритмов. Политический вопрос какие поведения приемлемы решается в коде, ниже по течению политического процесса, номинально его управляющего.
Эти два сценария не исключают друг друга. Демократия может двигаться к A в одних областях и к B в других, в зависимости от того, какие части набора инструментов получают пристальный взгляд, а какие проскальзывают незамеченными. Регуляторное усилие Европейского союза представляет одну из немногих скоординированных попыток A; удастся ли оно — среди самых следственных открытых вопросов периода, который покрывает энциклопедия.
Рамка, которую принимает эта секция
Государства всегда формировали поведение. Они всегда делали это лучшими доступными инструментами. AI — следующий инструмент. Что ново — асимметрия: AI-набор инструментов государства гораздо более способен, чем набор инструментов его граждан для его замечания, — та же структурная асимметрия, которую таксономия манипуляции (D.18) называет на индивидуальном уровне, теперь отмасштабированная до населения.
Это одно из мест, где встречаются шесть секций энциклопедии. Когнитивная стандартизация (C) и манипуляция (D) описывают, что AI делает с мышлением; власть и регулирование (F) описывают, кто это делает. Те же техники повторяются, потому что инструмент тот же. Защиты повторяются, потому что должны.