Медицинский ИИ может ошибаться из-за языка: где риск получить неверный ответ выше всего

Качество медицинских ответов искусственного интеллекта напрямую зависит от языка запроса. Исследования показывают: чем меньше данных на конкретном языке использовалось при обучении модели, тем выше риск получить неточный или ошибочный ответ. Способность нейросетей переводить тексты не компенсирует дефицит специализированных медицинских знаний на разных языках.

Дисбаланс обучающих данных

Причиной неравенства в качестве ответов стал перекос в наборах текстов, на которых тренируют большие языковые модели (LLM). В крупном корпусе ROOTS английский язык занимает 30,03%, китайский — 16,16%, французский — 12,9% и испанский — 10,85%. В специализированных медицинских данных ситуация еще острее.

Так, база MMedC объемом 25,5 млрд токенов включает всего шесть языков, из которых 41,4% приходится на английский. При этом такие языки, как арабский, хинди, бенгальский и португальский, в этом наборе полностью отсутствуют.

Результаты тестирования моделей

Чтобы проверить, как нехватка данных влияет на точность, исследователи использовали 442 вопроса из MedQA (база лицензионных медицинских экзаменов). Задания перевели с английского и китайского на арабский, бенгальский, хинди и португальский. Ответы анализировали четыре модели: DeepSeek Chat, Gemini 2.5 Flash, GPT-3.5 Turbo и GPT-4o.

Язык запроса Снижение точности ответа
Португальский 0,73%
Хинди 4,64%
Бенгальский 7,24%
Арабский 10,29%

Минимальное падение точности для португальского языка объясняют его близостью к другим романским языкам, которые широко представлены в данных. Однако для арабского и бенгальского языков разрыв оказался значительным. Авторы признают, что часть ошибок могла возникнуть из-за несовершенства автоматического перевода самих вопросов, но общая тенденция очевидна.

Региональные стандарты и риски

Проблема не ограничивается лингвистикой. Медицинская помощь зависит от географии: клинические рекомендации и структура заболеваемости различаются от страны к стране. Одинаковый ответ нейросети может быть верным для пациента из США, но неприемлемым или опасным для жителя другой страны.

"Использование ИИ в медицине требует учета локального контекста. Одной лингвистической адаптации недостаточно, так как протоколы лечения варьируются. Без привязки к региональным стандартам модель может выдать рекомендацию, которая не соответствует действующим нормам здравоохранения конкретной страны", — объяснила врач-терапевт, специалист по доказательной профилактике Анна Кузнецова.

Пути решения проблемы

Для снижения рисков исследователи предлагают внедрять RAG-системы (Retrieval-Augmented Generation). Эта технология позволяет ИИ перед формированием ответа обращаться к внешним верифицированным источникам — в данном случае к актуальным региональным клиническим рекомендациям.

Также необходимы следующие меры:

  • Создание международных баз клинических рекомендаций.
  • Расширение многоязычных медицинских датасетов с разметкой от профильных врачей.
  • Разработка специальных тестов для проверки качества медицинских LLM на разных языках.
  • Публикация результатов проверок и сбор обратной связи от клиницистов.

Отсутствие таких стандартов может привести к цифровому неравенству: пользователи, говорящие на редких языках, получат доступ к менее надежной медицинской информации.

Кстати, потребность в языковой компетенции остается актуальной и для людей. Опрос студентов-медиков Елецкого государственного университета показал, что 85% считают иностранный язык частью профессиональной подготовки. Более половины респондентов назвали главным преимуществом английского языка возможность читать научную литературу в оригинале.

Экспертная проверка: врач-терапевт, специалист по доказательной профилактике и диспансеризации Анна Кузнецова
Показывать Pravda.Ru в сервисах Google

Автор Светлана Пятахина
Специализируется на мониторинге финансовых рынков, банковского сектора и вопросах социальной политики. Обладает более чем 10-летним опытом работы в ведущих российских медиа-холдингах.
Куратор Анна Кузнецова
Анна Сергеевна Кузнецова — врач-терапевт, специалист по доказательной профилактике и диспансеризации, обозреватель Pravda.Ru.
Последние материалы