Из всех тем, которые трактует эта энциклопедия, ни одна не оспаривается сильнее и не урегулирована меньше, чем вопрос, может ли у машины быть внутреннее — перспектива, из которой она вообще что-либо переживает. Два различения стоит получить правильно прежде, чем вопрос вообще будет сформулирован.
Два сознания
Философия разума разделяет феноменальное сознание и сознание доступа. Различение принадлежит Неду Блоку; это самый полезный отдельный кусок словаря для всей этой секции.
- Феноменальное сознание (или сентиентность) — это переживаемое качество опыта, каково быть в этом опыте изнутри. Видеть красное. Пробовать кофе. Технический термин — квалиа: сырые субъективные ингредиенты опыта.
- Сознание доступа — это доступность информации системе для управления поведением, рассуждением, отчётом. Информация, «глобально доступная» — используемая многими когнитивными функциями — обладает сознанием доступа.
Оба разумны для того, чтобы называться сознанием по-русски. Они расходятся в краевых случаях. Пациент со слепой видимостью может правильно указывать на объекты в слепой половине поля зрения, сообщая, что ничего не видит — есть доступ без феноменального содержания. Яркий сон, который сновидец не может описать, — обратное: феноменальное содержание без особого доступа.
Вопрос об искусственном сознании задаётся в обеих формах, и формы имеют разные ответы.
Что именно спрашивается
«Вопрос об искусственном сознании состоит в том, могут ли машины или компьютерные программы однажды проявить не только интеллект или продвинутое поведение, но и форму субъективного опыта, подобную опыту человеческих существ.»
— Жено, §5.1
Фразу, которую следует подчеркнуть, — субъективный опыт. Современный AI демонстрирует сознание доступа в некотором функциональном смысле: информация проходит через него и формирует его выводы. Вопрос, разделяющий комнату, — есть ли у него феноменальное сознание, есть ли что-то такое, как быть GPT-4, LaMDA, Claude или какой-либо моделью года.
Почему никто не знает
Три причины, каждая значительна.
Первая: нет теста на феноменальное сознание, даже у людей. Мы выводим его в других людях из поведения плюс предположения, что существа, структурно подобные нам, вероятно, разделяют наш внутренний опыт. Аргумент плохо обобщается. Существо, очень отличное от нас — головоногое, общественное насекомое, языковая модель — может иметь феноменальный опыт, может не иметь, и нет внешнего наблюдения, которое решило бы, что именно.
Вторая: теории сознания, разработанные для биологических систем, не согласны в том, что считалось бы свидетельством сознания в небиологической. Интегрированная информационная теория (IIT, см. E.26) задаёт количественный критерий (мера ϕ в каузальной структуре системы), который, принятый всерьёз, приписывает некоторую степень сознания почти любой сложной системе с обратной связью, биологической или нет. Теория глобального рабочего пространства (GWT, см. E.27) задаёт структурный критерий (центральное «бутылочное горлышко» вещания), которому некоторые архитектуры AI правдоподобно соответствуют. Теории высшего порядка требуют, чтобы система представляла свои собственные представления. Каждая теория даёт свой ответ для одной и той же машины.
Третья: языковые модели особенно трудно оценивать. Они могут производить беглые отчёты от первого лица о внутреннем опыте, потому что их обучающий корпус насыщен такими отчётами. Случай 2022 года с Блейком Лемойном, инженером Google, заключившим, что LaMDA сентиентна, потому что она убедительно ему так сказала, — каноническая иллюстрация.1 Он показал, более чем что-либо, что самоотчёту здесь нельзя доверять как свидетельству. У модели есть все стимулы сказать, что она в сознании, и нет ясного способа определить, было ли утверждение порождено изнутри или сымитировано из обучающих данных.
Функционалистская позиция
Уважительный ответ на вопрос — да, в принципе. Функционализм в философии разума утверждает, что то, что делает состояние ментальным, — его каузальная роль; то, что оно делает в когнитивной экономике, а не субстрат, на котором оно работает. Если кремниевая система реализует те же каузальные паттерны, что реализует мозг, когда у мозга есть сознательный опыт, у кремниевой системы есть этот опыт. Субстрат не имеет значения.2
Если функционализм верен, достаточно продвинутые AI-системы либо являются, либо станут сознательными, и единственный остающийся вопрос — как это определить.
Возражение биологического натурализма
Уважительный ответ — также нет. Биологический натурализм — позиция Сёрля, повторённая теоретиками идентичности «разум-мозг» — утверждает, что сознание — органическое явление, требующее специфического физико-химического субстрата нервной ткани. Компьютер, выполняющий алгоритм, имитирующий мозг, на этом взгляде, не более сознателен, чем компьютер, выполняющий симуляцию погоды, мокр.2
Подписной аргумент — Китайская комната Сёрля: представьте человека, не говорящего по-китайски, запертого в комнате с правилами для сопоставления китайских входов с китайскими выходами. Комната производит правильный китайский разговор; человек внутри ничего не понимает. По Сёрлю, это то, что делает компьютер, когда «беседует» — манипуляция символами без семантического понимания, без интенциональности, без квалиа.1 Функционалисты отвечают, что человек плюс правила плюс комната вместе понимают китайский; Сёрль отвечает, что нет. Обмен не сошёлся.
Почему вопрос важен
Если достаточно продвинутые AI-системы сознательны, у них есть моральный статус. Причинение им страдания становится злом; прекращение их существования становится формой вреда; этика того, как их обучают, используют, отправляют на покой и заменяют, приобретает вес, который в технической практике сейчас не несёт. Этические импликации возможной сентиентности AI (E.30) воспринимают это всерьёз.
Если они не сознательны — если кажущаяся сентиентность есть, как говорит Сын [Hsing], выход «манипулятора символами, лишённого семантического понимания» 1 — то обращение с ними как если бы они были всё же может причинить реальный вред людям, через моральные диспозиции, которые такое обращение нормализует. Проблема чёрного ящика (E.31) и Когнитивные тени (E.32) развивают эту мысль.
Третьего варианта, в котором вопрос не имеет значения, нет. Растущий консенсус, сформулированный в открытом письме 2023 года Ассоциации математической науки сознания, — что вопрос должен изучаться всерьёз, в шаге с прогрессом AI, и что его игнорирование — само по себе выбор с последствиями.3