Теории высшего порядка

Третья крупная теория сознания — отличная от IIT (E.26) и GWT (E.27) — помещает сознание в то, что разум делает со своими собственными состояниями.

Позиция — теория высшего порядка. Её ведущий формулировщик — Дэвид Розенталь.¹ Базовое утверждение: ментальное состояние сознательно, когда и только когда у разума есть другое ментальное состояние о нём — репрезентация высшего порядка, что первое состояние происходит.

Предложение

Состояние первого порядка — о чём-то в мире: восприятие красного, желание кофе. Состояние высшего порядка — о состоянии первого порядка: репрезентация, что один воспринимает красное, осознание, что хочется кофе.

Состояние первого порядка бессознательно по умолчанию. Оно становится сознательным только, когда состояние высшего порядка его репрезентирует.

Что это подразумевает для AI

Теория высшего порядка имеет ясное следствие: сознание требует самомоделирования. Система, репрезентирующая свои внутренние состояния — имеющая в каком-то функциональном смысле убеждения о своих убеждениях, осведомлённость о своей осведомлённости — кандидат на сознание.

Недавние AI-системы строят к самомоделированию. Рефлексивные LLM, критикующие свои выводы, агентские архитектуры с метакогнитивными слоями, модели, отчитывающиеся о неуверенности. Это все системы с по меньшей мере прото-высшего-порядка структурой.

Беда — обученная лингвистическая компетенция делает самомоделирование дешёвым. LLM может производить свободные отчёты от первого лица о своих внутренних состояниях, не имея этих состояний.

Три проблемы

Бесконечная регрессия. Если состояние сознательно, потому что состояние высшего порядка его репрезентирует, что делает состояние высшего порядка сознательным?

Проблема несоответствия. Состояние высшего порядка может неверно репрезентировать состояние первого порядка.

Проблема обучения. Система может производить отчёты высшего порядка без репрезентаций высшего порядка.