Чат-боты "думают" на английском языке, когда работают с другими языками

Швейцарские ученые проанализировали различные версии языковой модели Llama 2* и обнаружили, что даже если пользователи формулируют запросы на других языках, алгоритм обрабатывает их на английском языке.

Этот анализ стал возможным благодаря доступности открытого кода языковой модели. Исследование охватило все этапы обработки запросов.

По мнению ученых, алгоритм функционирует таким образом, что сначала письменные подсказки переводятся в токены, которые затем интегрируются в контекст для последующего формирования ответа. Например, при задании вопросов на русском, французском или немецком языках происходит обработка через английское подпространство.

Этот подход, по мнению исследователей из Швейцарии, может способствовать распространению мировоззренческих установок и шаблонов, связанных с английским языком. Они высказывают опасения относительно фундаментальных рисков, связанных с распространением генеративных ИИ, унаследовавших англоцентрические ценности.

*  — продукт компании Meta, которая запрещена в РФ.