Когнитивные тени

В 2002 Розенблит и Кейл провели исследование. Методология: попросить людей оценить, насколько хорошо они понимают, как что-то работает. Затем попросить написать объяснение. Затем оценить снова.

Оценки резко упали. Люди верили, что понимали. Попытка артикуляции обнажила пробел. Розенблит и Кейл назвали феномен иллюзией объяснительной глубины.¹

Версия AI

Термин энциклопедии — когнитивная тень: пробел между тем, что мы думаем, что понимаем об AI-системе, и тем, что мы на самом деле понимаем.

Свобода. Современный AI производит выводы свободной прозой. Свободная проза читается, как будто была результатом понятного рассуждения.

Правдоподобные объяснения. Спрошенный объяснить себя, AI производит правдоподобное объяснение. Объяснение читается, как будто это было действительное рассуждение за выводом. Обычно — нет — у модели нет привилегированного доступа к собственным внутренним вычислениям.

Уверенные умолчания. Современный AI по умолчанию даёт уверенные выводы. Уверенность откалибрована к ожиданиям пользователей.

Эти три черты комбинируются, производя в пользователях систематическую переоценку их собственного понимания того, что делает AI.

Почему это глубокая версия проблемы чёрного ящика

Предыдущая статья (E.31) обсуждала чёрный ящик на уровне математической непостижимости. Когнитивные тени — пользовательская версия той же проблемы. Даже если система непрозрачна, пользователь не чувствует, что она такова.

Это опаснее голой непрозрачности. Пользователь, знающий, что не понимает систему, надлежаще осторожен. Пользователь, чувствующий, что понимает, потому что система вежливо себя объяснила, опасно мискалиброван.

Как тень эксплуатируется

Пользователи, чувствующие, что понимают — лёгкие цели для техник секции D. Уверенно сформулированная ложь от AI правдоподобнее той же лжи от менее свободного источника.

Что можно сделать

Делать системы показывающими свою неуверенность. Модели, которые поверхностно представляют, в чём они не уверены.

Учить пользователей не доверять свободе. Учить эвристике: «чем артикулированнее объяснение, тем тщательнее я должен его проверить».