Когнитивная стандартизация

Риск, давший имя этой секции, легко высказать и труднее почувствовать: по мере того как генеративный AI становится посредником письма, речи и рассуждения по умолчанию, разнообразие этих действий сужается. Не потому, что кто-то этого хочет. Потому что миллионы малых ежедневных актов когнитивной разгрузки в сумме черпают из небольшого пула доминирующих данных.

Жено называет результат когнитивной стандартизацией — прогрессирующая гомогенизация на глобальной шкале того, как формируются и выражаются мысли. Диагноз старше генеративного AI; массмедиа предлагали его прежние варианты. Что ново — гранулярность, на которой стандартизация теперь работает. Не каждая газета, а каждый абзац; не каждый фильм, а каждое предложение.

Аргумент в одном абзаце

Большие языковые модели обучаются на корпусе, в котором перепредставлено англоязычное, западное, индустриальное, городское письмо. Их выводы отражают эту перепредставленность — даже когда пользователь не англоязычен, не западный, не городской. По мере того как всё больше пользователей делегируют всё больше решений о фразировке, рамке и суждении этим выводам, распределение способов-сказать сужается вокруг того, что обучающие данные уже предпочитали. То же — с поправками — верно для рекомендательных моделей, опосредующих то, что читают; рекомендательных моделей, опосредующих то, что смотрят; и моделей автодополнения кода, опосредующих то, что строят. Доминирующий корпус становится бессознательным следующего написанного, увиденного или построенного.

Доклад французского Сената 2024 года использует фразу, организующую всю эту секцию: господство AI англо-саксонских игроков «рискует сильно усилить культурную гегемонию Соединённых Штатов», обедняя лингвистическое и культурное разнообразие, создавая «когнитивную стандартизацию».¹ Формулировка политическая, но механизм — технический.

Как «гомогенизация» выглядит на самом деле

Исследование Доши с коллегами 2024 года поставило индийских участников в пару с системой автодополнения текста, обученной на западных данных, и наблюдало за их прозой. Участники принимали подсказки модели. За сессию их письмо смещалось к нормам англоязычного западного — теряя нюансы лексики, синтаксиса и риторической структуры, отмечавшие его как их в начале.² Резюме авторов поразительно: AI «гомогенизировал письмо к западным стилям, бесшумно стирая не-западные модусы выражения».

Слово бесшумно — суть. Ни читатель, ни пишущий не замечали на уровне предложения. Каждое принятое предложение было малым улучшением, локально оправданным — лёгким уточнением, более гладким переходом. Уплощение было видно только в совокупности.

Тот же узор, со своей спецификой, задокументирован в классах, где предпочтение ChatGPT формального академического английского вытесняет диалект, регистр и идиому из работ студентов — не потому, что учителя этого требуют, а потому, что модель это предлагает.³ Образовательные исследователи называют это лингвистической гомогенизацией: стирание тихим предпочтением «богатства и сложности языков, которые студенты приносят с собой».

Критика «WEIRD»

У психологов есть давний акроним для культурного перекоса испытуемых их собственного поля: WEIRD — Western, Educated, Industrialized, Rich, Democratic. Тот же акроним теперь применяется к обучающим данным AI, с тем же прилагающимся предупреждением. Выводы, обученные на корпусе WEIRD, отражают WEIRD-предположения о структуре аргумента, доказательстве, этикете и о том, что считается разумным мнением. Когда такие выводы становятся глобально доступны, они оказывают центростремительное давление на каждую культуру, которая их потребляет.⁴

Это не (только) проблема ошибочности отдельных статей. Это проблема сужения пространства доступных формулировок. Диапазон способов сказать что-то в культуре — часть того, как она думает. По мере сужения диапазона определённые мысли становятся труднее формулируемыми — не невозможными, но более медленными, менее беглыми, менее вероятными.

Почему «не используешь — теряешь» применимо и здесь

Когнитивная стандартизация соседствует с когнитивной разгрузкой. Обе включают делегирование части работы разума машине. Разгрузка делает это для отдельной умственной операции (память, вычисление); стандартизация — для стиля, рамки и суждения. Обе несут одну и ту же долгосрочную цену: часть мышления, которую мы перестаём упражнять, атрофируется. Цена здесь больше, потому что разгруженная функция — замечать своё — ровно то, что позволило бы обнаружить стандартизацию, пока она происходит.

Исследование Microsoft и Carnegie Mellon профессиональных работников знаний показало, что высокое доверие к возможностям генеративного AI коррелирует с измеримым снижением критического мышления и «атрофией» независимого аналитического навыка.⁵ Участники разгружали наиболее когнитивно дорогие части своей работы — и со временем производили меньше креативных ответов, оценивая выводы AI менее строго.⁶

Что можно сохранить и как

Трудный вопрос этой секции — рассмотренный должным образом в Сохранении когнитивного разнообразия (C.17) — можно ли что-то сделать с когнитивной стандартизацией, не отказываясь от подлинных выгод беглой помощи. В литературе повторяются три ответа: образование (выработать привычку замечать предпочтения модели до их принятия); технические контрмеры (тонкая настройка, не-англоцентричные обучающие корпуса, локально разработанные модели); и регулирование (требования прозрачности, обязательное раскрытие состава обучающих данных). Ни один из них недостаточен сам по себе.

Рамка, которую энциклопедия берёт у Жено: когнитивная стандартизация — не моральный провал какого-либо конкретного инструмента. Это эмергентное свойство конкретного способа строительства этих инструментов — в котором несколько крупных обучающих запусков становятся, по умолчанию, субстратом того, как планета делает своё мышление. Энциклопедия — отчасти попытка сделать этот субстрат видимым.