Искусственный интеллект против ошибок: как российские ученые борются с неверными запросами SQL

ИИ-системы всё чаще применяются для работы с базами данных: они генерируют SQL-запросы по обычным человеческим вопросам. Кажется, это удобно — просто спроси, и получи нужные данные. Но стоит углубиться в специализированные области, и алгоритмы начинают спотыкаться. Ошибки в коде, уверенность в неправильных ответах, и — самое неприятное — невозможность понять, когда ИИ просто не знает, что ответить.

Именно эту проблему взялись решать российские исследователи. Их разработки уже позволяют отсеивать до 90% неверных запросов, сгенерированных языковыми моделями.

Когда уверенность ИИ — это плохо

"ИИ-модели часто уверенно выдают неправильные SQL-запросы. А вот если ответа нет — они начинают колебаться", — объясняет Елена Тутубалина, руководитель группы "Прикладное NLP" Института AIRI.

Это наблюдение стало ключом к новой методике. Исследователи обучили системы вроде DAIL-SQL, T5 и LLaMA3, чтобы они "честно" оценивали свою уверенность в каждом ответе. Когда ИИ неуверен — это тревожный сигнал: возможно, вопрос некорректен или данных попросту нет.

Как это работает

Ученые использовали два подхода:

• Калибровка модели, позволяющая ИИ честнее оценивать собственные ошибки.
• Внешний классификатор, который "фильтрует" потенциально неверные ответы, особенно по сложным вопросам без однозначного решения.

Результат: до 90% ошибочных запросов удается выявить и предупредить пользователя, прежде чем тот получит ложную информацию.

Зачем это нужно

Сегодня ИИ активно интегрируются в инструменты аналитики и корпоративные базы данных. Ошибка в запросе может повлечь за собой неверные выводы и решения. Поэтому важно, чтобы человек всегда оставался "в цепочке принятия решений".

"Комбинация наших методов значительно увеличивает надежность ИИ в задачах генерации кода, особенно в чувствительных отраслях", — подчёркивает Олег Сомов, научный сотрудник AIRI.

Уточнения

Иску́сственный интелле́кт или ИИ (англ. artificial intelligence; AI) в самом широком смысле — это интеллект, демонстрируемый машинами, в частности компьютерными системами.