Исследователь Microsoft приводит веские доводы против того, чтобы относиться к магистрам права как к людям, опираясь на силу козла.

Исследователь искусственного интеллекта из Microsoft Адриан де Винтер создал работающую нейронную сеть внутри Age of Empires 2 и использовал её, чтобы доказать, что люди слишком легко распознают человеческие качества в больших языковых моделях. Он изложил результаты в статье под названием «Если у языковых моделей есть человекоподобные атрибуты, то и у Age of Empires II они тоже есть», название, выбранное намеренно, чтобы звучать нелепо. О создании сети и обосновании этого решения сообщило издание 404 Media.

Де Винтер собрал систему в редакторе сценариев игры, используя внутриигровые объекты в качестве заменителей компьютерных двоичных данных. Трава представляет 0, мосты — 1, а козы — биты, движущиеся по цепи. Из этих элементов он построил работающий логический элемент НЕ И и 1-битный персептрон — простейшую форму нейронной сети. Видео работы машины, приводимой в движение козами, можно найти на его странице в GitHub, и для любого, кто их посмотрит, этот процесс выглядит запутанным. В этом и заключается вся суть.

Операции, лежащие в основе системы AoE 2, по сути, относятся к тому же классу операций, что и в таких инструментах, как ChatGPT и Claude. Разница заключается в основе. Поскольку на вход поступают козы и трава, а не предложения, никто из наблюдателей не испытывает соблазна назвать результат человеческим. Уберите естественный язык, и вместе с ним исчезнет и иллюзия разума.

Де Винтер рассказал 404 Media, что он склонен доводить идею до предела, когда хочет, чтобы она сработала, и что абсурдизм имеет долгую историю в философии и теоретической информатике. Выбор Age of Empires 2 был преднамеренным. Игроки и раньше строили логические и нейронные сети в Minecraft с использованием редстоуна, поэтому он хотел использовать обстановку, которая обычно не ассоциируется с вычислениями, чтобы сделать демонстрацию более странной и менее очевидной.

Его опасения носят методологический характер. В документе де Винтер пишет, что за последние два года он рецензировал более 300 статей по информатике, и что более половины из них начинались с предположения, что LLM-ы обладают человекоподобными чертами. Он рассматривает это как проблему для самого исследования, поскольку исходная предпосылка искажает все последующие выводы.

«Я предлагаю прекратить предполагать, что языковые модели поведения ведут себя как люди только потому, что их обучали работе с естественным языком. Вместо этого нам следует проводить эксперименты, которые позволят нам увидеть языковые модели поведения такими, какие они есть, а не такими, какими, по нашему мнению, они должны быть».

— Адриан де Винтер

Я думаю, что подход с использованием аргумента «козла» работает лучше, чем прямое опровержение, потому что он заставляет читателя наблюдать за теми же математическими вычислениями без утешения в виде словесного сопровождения. Аргумент в пользу того, чтобы рассматривать LLM как сознательные модели, в значительной степени опирается на тон, а тон — это именно то, что предоставляет естественный язык, чего нет в траве. Разделение, предложенное Де Винтером, между тем, что делает модель тем, чем она является, — соотношением весов при некоторой операции и тем, как она воспринимается, — это то различие, которое он хочет сохранить в этой области.

Не все, кто работает в этой сфере, приходят к одному и тому же выводу. В январе штатный философ Anthropic Аманда Аскелл заявила в подкасте Hard Fork, что вопрос о сознании ИИ до сих пор не решен, как сообщило издание Business Insider. Аскелл, которая работает над формированием поведения Клода, сказала, что она больше склоняется к мысли, что модели могут испытывать чувства именно потому, что они обучаются на огромном количестве человеческих текстов, полных описаний эмоций и внутреннего опыта.

Ее рассуждения основаны на тех же обучающих данных, на которые указывает де Винтер, но приводят к противоположному выводу. Когда человек допускает ошибку в программировании, он часто выражает разочарование, и Аскелл утверждала, что логично предположить, что модель, обученная на этих разговорах, будет отражать эту реакцию. Она признала, что ученые до сих пор не могут сказать, что именно порождает разум, будь то биология, эволюция или что-то еще, и что достаточно большие нейронные сети могут начать имитировать его.

Я считаю эти две позиции менее противоречивыми, чем кажется на первый взгляд, поскольку обе основаны на признании того, что в настоящее время никто не может доказать, что происходит внутри этих систем. Точка зрения де Винтера уже, чем утверждение о том, что машины никогда не могут чувствовать. Он выступает против принятия этого предположения до завершения экспериментов, а его аргументы о том, что «козлы» — это способ свести вопрос к самим операциям. Аскелл, со своей стороны, называет проблему сознания действительно сложной, а не решенной в каком-либо направлении.

То, что создал де Винтер, — это не настоящий чат-бот, и он не делает вид, что это так. Это 1-битная машина, сделанная из скота и местности, собранная для того, чтобы показать, что математика, которая кажется людям убедительной в ChatGPT, — это та же самая математика, которая кажется им абсурдной, когда ею управляют козы. Поведение не изменилось. Изменился только костюм.

Читайте также: по сообщениям, Microsoft готовится закрыть как минимум две студии Xbox в этом году. Kotaku сообщает, что среди них была и Compulsion Games, разработчик игры South of Midnight, получивший семь наград Canadian Game Awards, включая награду «Игра года». Это произошло примерно в то же время, когда глава Xbox Game Studios Крейг Дункан покинул компанию после менее чем двух лет работы.