Сверхразум ИИ может создать угрозу экзистенциального риска для человечества

Глава компании Anthropic Дарио Амодеи предупредил о риске появления автономных ботнетов на базе ИИ, способных дестабилизировать глобальную сеть. Согласно открытому письму руководителя, в ближайшие 6-12 месяцев может возникнуть "рой" (swarm) устойчивых ботнетов, способных захватить контроль над значительными сегментами интернета.

Технический риск связан с переходом моделей ИИ от простых ответов на вопросы к автономному выполнению сложных многошаговых задач. Это снижает порог входа для атакующих, которым больше не требуются штаты квалифицированных специалистов для проведения масштабных операций.

Текущая структура риска:

• Объект воздействия: Глобальная сетевая инфраструктура (Internet).
• Механизм: Создание персистентных ботнетов с использованием возможностей автономных агентов ИИ.
• Подтвержденный импакт: На текущем этапе подтверждена способность существующих моделей помогать в проектировании оружия, кибероперациях, разведке и слежке.
• Прогнозный ущерб: По оценке Амодеи, финансовые потери могут достичь сотен миллиардов долларов.
• Статус атрибуции: Конкретные группы атакующих не названы, риск рассматривается как общая уязвимость перед лицом ускоряющегося развития моделей.

Помимо технических угроз, бывший исследователь безопасности Anthropic Эван Хабингер указывает на проблему "выравнивания" (alignment) сверхразума, оценивая вероятность экзистенциального риска для человечества в более чем 10% в ближайшее десятилетие.

Ситуация осложняется тем, что ограничение разработки в одной компании может привести к смещению технологического лидерства в сторону менее ответственных игроков или государств с выраженной военной агрессией. Текущая граница знаний определяет проблему в отсутствии эффективных защитных механизмов ("guardrails"), которые успевали бы за темпами роста вычислительных возможностей ИИ.