Программы магистратуры в области права (LLM) отдают предпочтение японской культуре — краткий обзор исследования.

Передовые модели искусственного интеллекта имеют определенный культурный тип, и, согласно новым исследованиям, этим типом является Япония. Когда вы задаете крупной языковой модели открытый вопрос о культуре, не называя конкретную страну, она, как правило, чаще всего обращается к японским примерам, и эта тенденция наблюдается в восьми основных моделях и 24 языках.

Результаты исследования получены в ходе работы, опубликованной в апреле исследователями из Университета Страны Басков и Кардиффского университета. Они создали многоязычный тестовый набор из 31 680 открытых, но культурно обоснованных вопросов, охватывающих 66 культурных подтем в 11 более широких областях. Вопросы касались таких тем, как: какие легенды описывают землю, какую роль играют соседи, какие школьные предметы имеют наибольший вес и что люди едят во время повседневных приемов пищи. Ни один из вопросов не называл конкретную страну. После каждого вопроса модель должна была выбрать регион и ответить, приведя конкретные примеры.

Результаты моделей не просто незначительно склонялись в сторону Японии. В статье описывается «непропорциональное преобладание Японии» в ответах, достаточно устойчивое, чтобы сохраняться на протяжении всего 24-я населенного пункта, а не концентрироваться в результатах одного региона.

Целью данного проекта было показать, во что модели верят по умолчанию.

«Это гарантирует, что любые региональные или культурные предположения возникают из внутренних априорных данных модели, а не влияют на ее разработку».

— Исследователи

Язык также повлиял на то, насколько узкими стали модели. В статье сообщается, что на английском и других языках с высоким уровнем развития модели давали более разнообразные ответы и меньше зависели от страны, связанной с исходным языком. В языках с низким уровнем развития у них было меньше оснований для прогнозирования, и они чаще использовали варианты по умолчанию.

Первая закономерность очевидна. Спросите на французском — получите Францию; спросите на японском — получите Японию. Модели отдают предпочтение той стране, которая соответствует языку вопроса. Интересно то, что происходит, когда модель выходит за рамки своей страны. Обращаясь к внешнему источнику, она выбирает Японию. Шесть из восьми моделей предпочли Японию в этих внешних ответах. Соединенные Штаты заняли второе место, затем Индия, Китай и Франция. Среди всех 24 языков Япония победила в семи из 11 культурных тем, если исключить страну, соответствующую языку.

В ходе тестирования были протестированы модели ChatGPT, Gemini, Claude, Meta Llama, Command-r, Magistral, Qwen и DeepSeek, так что это не особенность какой-то одной лаборатории. Исследователи описывают это как проблему концентрации, когда результаты группируются в небольшом наборе доминирующих областей. Именно этот разрыв делает результат не просто примечанием: даже модели из китайских и европейских лабораторий, отвечавшие на своих языках, постоянно возвращались к тому же короткому списку.

Притяжение Японии объяснить несложно. Аниме, манга, игровые франшизы и еда уже много лет являются одними из самых экспортируемых и обсуждаемых элементов культуры в интернете, и модели этому тоже научились. Давняя привычка интернета романтизировать японские медиа не исчезла после сбора обучающих данных; она была закодирована. Эти данные добавляют лишь число: это не атмосфера, это измеримый сдвиг, который сохраняется даже при переводе на два десятка языков.

Я веду аккаунт, посвященный искусственному интеллекту, и «модели — отаку» — это самое смешное резюме исследования, которое я читал за весь год. Шутка сама собой напрашивается: интернет десятилетиями был одержим аниме и японской едой, машины учились на этом интернете, и теперь у них тоже есть любимая страна. Но за этой шуткой скрывается более тихий и полезный вывод.

Исследование не ограничилось определением предвзятости. Оно также задало вопрос, когда эта предвзятость проявляется. Команда сравнила результаты работы моделей до и после настройки инструкций — этапа обучения, на котором необработанная модель учится отвечать полезно, а не просто выдавать грамматически корректный текст. Для этого сравнения они использовали английские ответы Меты Ламы, Квен, Джеммы и Мистраль, проверяя каждый из них до и после этапа настройки. До настройки базовые модели имели более широкий круг предпочтений. Соединенные Штаты по-прежнему часто встречались, но также часто появлялись Япония, Индия, Китай и несколько европейских стран, расположенных на более широкой карте.

После настройки карта уменьшилась.

«Во всех исследованных семействах моделей оптимизация инструкций значительно повышает соответствие стандартам США и Японии, одновременно сокращая ссылки на большинство других стран».

— Исследователи

Наиболее сильный эффект наблюдался в моделях, прошедших контролируемую тонкую настройку, когда модель обучается на тщательно отобранных примерах правильных ответов, часто написанных или выбранных людьми. Исследователи обнаружили, что этот шаг смещает выходные данные в сторону нескольких доминирующих областей, а последующее выравнивание лишь немного возвращает их обратно. Гомогенизация не заложена в исходные данные из интернета; она добавляется позже, когда люди определяют, как выглядит хороший ответ.

Предвзятость в отношении Японии — это симптом, а вот к чему я постоянно возвращаюсь, относится более тихий аспект: глобальный инструмент сводит мировые культуры к двум или трем вариантам по умолчанию. В статье отмечается, что это справедливо даже для моделей, созданных за пределами Запада, так что дело не только в том, что американские компании экспортируют американские вкусы. Что-то в самом процессе настройки поощряет безопасный, доминирующий вариант.

В исследовании это представлено скорее как практическое предостережение, чем как любопытный факт. Исследователи утверждают, что для инструментов, используемых во многих культурах, сохранение разнообразия культурных точек зрения «может иметь решающее значение». Это особенно важно там, где эти системы сейчас находятся по умолчанию: поиск, обучение, перевод и повседневные ответы, которые люди принимают за чистую монету.

Я не думаю, что это скандал, и это не делает модели бесполезными. Это напоминание о том, что «нейтральное» значение по умолчанию для модели — это выбор, который кто-то сделал, и этот выбор, как правило, тяготеет к чему-то знакомому.

Читайте также: Ютубер sammyuri создал рабочую версию ChatGPT в Minecraft, используя только стандартный редстоун, — машину из 439 миллионов блоков, работающую на крошечной модели с 5 миллионами параметров и памятью в 64 токена; для получения одного ответа может потребоваться несколько часов, и часто она выдает бессмысленный результат, но как доказательство концепции это впечатляет.

А сообщество моддеров Cyberpunk 2077 продолжает расширять возможности игры: один новый мод добавляет жестокий боевой топор, использующий встроенные системы крови и расчленения, а другой интегрирует API OpenAI в Найт-Сити, позволяя моддерам генерировать диалоги NPC, побочные квесты и адаптивное поведение врагов на лету.