Исследование лингвистов из Университета Ватерлоо поднимает вопросы относительно устойчивости искусственного интеллекта (ИИ) на базе больших языковых моделей, в частности, чат-бота ChatGPT. Авторы отмечают, что ИИ способен допускать ошибки, противоречить самому себе и распространять дезинформацию, включая различные конспирологические гипотезы.
Специалисты провели анализ модели GPT-3, оценивая ее понимание утверждений в шести категориях: теории заговора, противоречия, заблуждения, стереотипы, вымысел и факты. Было предложено более 1,2 тыс. различных высказываний, подлежащих оценке по четырем критериям: правда или вымысел, существование в реальном мире, научная корректность и субъективная точка зрения, сообщает "Газета.Ru".
Результаты показали, что GPT-3 одобрил до 26% ложных утверждений в зависимости от категории. Важно отметить, что даже небольшие изменения в формулировке вопроса существенно влияли на ответ ИИ.
Ученые выразили беспокойство по поводу уязвимости ИИ перед дезинформацией и неспособности различать правду от вымысла. Они подчеркнули, что эти проблемы, в сочетании с широким распространением таких систем, подрывают доверие к данным технологиям.