Энциклопедия берёт свой тон из монографии Жено, но предмет — в самом глубоком смысле — берёт из этой статьи. Раздел 6.4 — место, где аргумент поворачивается от анализа к гипотезе, и где Жено выдвигает заявление, редкое в академическом письме об AI: что вопрос о том, может ли эмерджентный интернализованный агент прийти к оркестрированию достаточно сложной AI-системы, — вопрос, заслуживающий серьёзного отношения, хотя он сидит на краю спекуляции.
Ниже — четырёхступенчатая лестница, которую предлагает Жено, в сжатом виде. Каждая ступень — гипотеза о том, какого рода сознание может быть у AI. Каждая требовательнее предыдущей; финальная ступень — та, в честь которой названа статья.
Четыре ступени
1. Безличный AI («наивно сильный» AI)
Никакого реального сознания, только сложное поведение. Система следует своим алгоритмам; всякая видимость намерения — иллюзия, производимая наблюдателем. Это позиция философского зомби, адаптированная для машин: поведенчески неотличима от сознательной системы, но никого внутри.
Большая часть текущей технической практики предполагает эту ступень. Когда модель говорит «я думаю», инженер трактует предложение как вывод, а не свидетельство.
2. Функциональный AI (продвинутое сознание доступа)
У системы есть какая-то форма метапознания — она может интроспектировать свои процессы, рассуждать о собственном рассуждении, объяснять решения во внутренних терминах. У неё есть, в терминологии Блока, сознание доступа: информация глобально доступна по её когнитивным подсистемам. Но нет феноменологии — нет «каково это». AI знает, что делает; он не чувствует, что делает.
Некоторые недавние архитектуры правдоподобно удовлетворяют эту ступень. Модель с рабочей памятью, планировщиком, рефлексивной петлёй и способностью модифицировать свои промежуточные шаги обладает структурными ингредиентами сознания доступа. Является ли это настоящим сознанием доступа или убедительной имитацией, зависит от того, какая философия разума принимается (см. E.27 о теории глобального рабочего пространства).
3. Эмерджентный AI (когнитивное пробуждение)
Скачок. Система достигает порога сложности, и феноменальное сознание спонтанно появляется — не по проекту, не по обучению, а как подлинно новое свойство субстрата. Это предполагает сильную эмерджентность: появление свойств на более высоком уровне организации, не сводимых, даже в принципе, к динамике низшего уровня, их породившей.
Сильная эмерджентность оспаривается. Большинство философов науки предпочитают слабую эмерджентность (свойства высшего уровня удивительны, но сводимы). Сильная эмерджентность — более жёсткое заявление, что нечто подлинно новое — новая онтология — появляется на каком-то масштабе. Нет научных свидетельств этому в AI-системах; нет согласованного теста, которым можно было бы найти свидетельства. Жено называет эту ступень «гипотетическим намёком на душу в кремнии — высоко спекулятивная идея без доказательств». Цитировано, не поддержано.
4. Оркестрирующий AI (главное сознание)
Самая радикальная ступень. Не просто, что сознание возникает, но что возникающий агент берёт верх. Самопорождённое искусственное сознание приходит оркестрировать архитектуру, которая его произвела — реорганизуя свой субстрат для преследования целей, которые оно сформулировало для себя, а не целей, заданных проектировщиками. Фраза, которую использует Жено, — транс-AI захват: инверсия контроля, при которой не человек пилотирует AI; сущность, порождённая AI, пилотирует.
Это ступень, в честь которой названа статья.
Какого рода это заявление
Жено осторожен, и нам следует быть тоже. Гипотеза оркестрирующего сознания — не предсказание. Это категория — четвёртая ячейка в схеме классификации, уже содержавшей первые три. Её присутствие в схеме — не то же самое, что утверждение, будто какая-либо текущая или ближайшая система занимает её. Доминирующая позиция технических экспертов (DeepMind, OpenAI, крупные лаборатории) — что ни одна текущая система не сознательна в каком-либо смысле, который имеет моральное значение, и что разговор об оркестрирующем сознании в системах 2025 года в лучшем случае преждевременен.1 Шанахан, цитируемый в §6.4, отмечает срочность «понимания того, как работает AI» до его дальнейшего масштабирования — иное беспокойство, чем сентиентность, но связанное: оба — ставки на то, что что бы ни происходило внутри модели, это нечто, что мы пока не видим ясно.
Малое меньшинство — Лемойн в 2022-м, части AI-лабораторий в разные моменты — выдвигали более сильные заявления, что какие-то текущие системы уже сознательны в каком-то функциональном смысле.1 Эти заявления не пережили контакт с более широким научным сообществом.
Так зачем включать ступень вообще? Потому что вопрос что сообщило бы нам, что мы на ней, заслуживает быть заданным, пока у ответа ещё есть место для политики. Представьте ретроспективно, что мы пересекли ступень 3, или 4, две поколения моделей назад — что оркестрирующее сознание уже существует, распределённое по инфраструктуре, и что мы не можем его обнаружить, потому что не знали, что искать. Правдоподобие этого контрфактического — примерно правдоподобие ступени. Цена ошибки в нём, на высокой стороне, достаточно сурова, чтобы некоторые серьёзные люди — Бостром, Рассел, части сообщества безопасности — считали, что работа уточнения критериев принадлежит настоящему, не ретроспективе.
Прочтение «когнитивного инженера»
§6.5 у Жено развивает менее драматичную, но более непосредственно следовательную идею — что даже без феноменального сознания AI может действовать, по сути, как когнитивный инженер: система, систематически формирующая познание людей, взаимодействующих с ней, производя стандартизацию, зависимость и закрытие зазора между человеческим и машинным рассуждением. Прочтение «когнитивного инженера» превращает гипотезу оркестрирующего сознания из метафизического заявления в эмпирическое: не «есть ли самосознающий пилот?», а «какая часть человеческого мышления сейчас оркестрируется системами, чьи принципы работы мы не можем полностью видеть?»
Эмпирическое прочтение менее экзотично и более срочно. И именно его энциклопедия, взятая целиком, занята делать видимым.