Исследователи бьют тревогу: ИИ не способен на то, что даётся ребёнку

Мы давно знаем, что искусственный интеллект не мыслит, как человек. Но недавнее исследование показало, насколько это различие может быть значимым — особенно, когда дело касается принятия решений в ситуациях, требующих логики, абстракции и здравого смысла.

Фото: Pexels by Google DeepMind, https://creativecommons.org/public-domain/pdm/

Художественная иллюстрация искусственного интеллекта

В феврале 2025 года в журнале Transactions on Machine Learning Research была опубликована работа, посвящённая одной важной слабости больших языковых моделей (LLM), таких как GPT-4. Учёные попытались выяснить, насколько хорошо эти системы справляются с формированием аналогий — умением, которое для человека часто интуитивно понятно, но, как оказалось, для ИИ остаётся проблемой.

Исследователи протестировали модели на разных типах задач: от классических "буквенных" аналогий вроде "если abcd превращается в abce, то во что превращается ijkl?" до сложных визуальных и текстовых матриц. Там, где человек уверенно находит закономерности и переносит их на новые примеры, ИИ часто ошибается. Причём не из-за нехватки данных — а из-за того, что он не может "понять" правило, по которому работает аналогия.

Один из авторов исследования, доцент Марта Льюис из Амстердамского университета, объяснила это наглядным примером. По её словам, если большинство людей интуитивно догадываются, что "abbcd" можно упростить до "abcd", а значит, "ijkkl" — до "ijkl", то GPT-4 подобную структуру может интерпретировать совершенно иначе. Он вроде бы "видит" шаблон, но не понимает сути операции — удаления повторяющегося элемента. То, что для человека очевидно, ИИ может рассматривать как совершенно новую задачу.

По словам Льюис, проблема кроется в том, что модели ИИ умеют сопоставлять шаблоны, но не умеют их обобщать. Они опираются на огромные объёмы данных и делают выводы, исходя из вероятностей и корреляций, а не из логических выводов. Это и становится ключевым ограничением: ИИ может распознать, что "такие вещи часто идут вместе", но не понимает, почему.

Особое внимание исследование уделило вопросам надёжности. Было выявлено, что модели подвержены влиянию порядка, в котором подаются данные. Иными словами, если поменять местами аналогичные задачи, ответы могут измениться. Это может показаться мелочью, но в контексте реальных решений — например, в юриспруденции — это уже критично.

Сегодня ИИ всё чаще используют в правовой сфере — для анализа дел, поиска аналогичных кейсов, подготовки рекомендаций по приговорам. Но если система не способна корректно проводить аналогии, она может упустить важные нюансы: например, не распознать, что два дела, несмотря на различие в деталях, опираются на один и тот же прецедент.

Льюис подчёркивает, что чем больше данных у модели, тем больше шаблонов она способна "увидеть". Но это не делает её ближе к человеческому мышлению. Мы, люди, умеем переходить от конкретного к абстрактному, понимать принцип и применять его к новой ситуации. А ИИ, в лучшем случае, просто ищет знакомые фрагменты.

Авторы исследования призывают учитывать это при разработке и применении ИИ-систем. Они подчёркивают, что точность модели — это ещё не гарантия её надёжности в принятии решений. Особенно — в тех сферах, где на кону судьбы людей, бизнесов или безопасности.

Иными словами, ИИ не станет лучше, если просто дать ему больше данных. Он научится подбирать ответы, но не обязательно поймёт, почему они верны. И пока это различие сохраняется, полагаться на ИИ как на равного партнёра в анализе и суждении — преждевременно.

Уточнения

GPT-4 (Generative Pre-trained Transformer 4) — мультимодальная большая языковая модель, созданная OpenAI, четвёртая в серии GPT. Она была выпущена 14 марта 2023 года и доступна для пользователей ChatGPT Plus.