У психологии своя WEIRD-проблема уже поколение. Термин из работы Хенрих, Хейне и Норензаян 2010 года указывает, что большинство психологических исследований проводится на западных, образованных, индустриальных, богатых и демократических испытуемых — и что результаты плохо переносятся на популяции, которые ничем из этого не являются.
Литература о тренировочных корпусах AI приняла тот же акроним по той же причине. WEIRD-AI: большие языковые модели, обученные преимущественно на англоязычном тексте, произведённом западными, образованными, индустриальными, городскими писателями, развёрнутые глобально и трактуемые как нейтральные.
Как выглядит предвзятость
Лингвистическая. Тренировочный корпус ошеломляюще английский. Большинство языков мира появляются в следовых количествах или вовсе.
Культурная. Структуры аргумента, нормы этикета, примеры и «разумные умолчания», производимые моделью, отражают модальный западный академически-корпоративный регистр. Спросите модель гипотетический вопрос о трудовом споре, и место работы будет офисом США.
Эпистемическая. То, что модель трактует как «разумное», отражает то, что тренировочный корпус трактует как разумное. Где корпус густ в западном академическом дискурсе, модель пишет уверенно; где он тонок, модель галлюцинирует.
Почему предвзятость структурна
Доступность данных. Корпус отражает то, что оцифровано, онлайн и машино-читаемо. Это не равномерная выборка мирового текста.
Сигналы оптимизации. Сигналы, которые лаборатории используют для оценки и улучшения моделей, идут преимущественно от англоязычных аннотаторов в WEIRD-экономиках.
Экономическая гравитация. Крупнейшие платящие клиенты для передовых моделей — WEIRD-предприятия. Особенности, которые лаборатории приоритизируют, отражают то, чего хотят эти клиенты.
Что значит «центростремительное давление»
Фраза, которую энциклопедия использует для совокупного эффекта — центростремительное давление. WEIRD-AI не устраняет не-западное выражение; он тянет к западному центру, постепенно, на каждом взаимодействии, на каждом языке, на каждой задаче.
Что можно сделать
Реалистичные ответы — те же три, что повторялись в Когнитивной стандартизации (C.12):
Локально обучаемые модели. Mistral по-французски, AI21 на иврите, несколько инициатив на африканских языках, многоязычная BLOOM от BigScience.
Плюрализм в оценке. Многоязычные, мультикультурные наборы бенчмарков.
Обучение осведомлённости. Учить пользователей, что у модели есть пользователь по умолчанию, и что они могут им не быть.