Современные системы искусственного интеллекта — не просто код, набранный программистами, а нечто эволюционирующее, подобно живому организму.
Разработчики задают лишь общие рамки, но итоговый продукт полон загадок, которые даже они не в силах разгадать. Это роднит процесс с формированием человеческого разума: инженеры знают, как запустить механизм, но не понимают, что именно в нем творится.
Такая слепота уже рождает риски. Никто в xAI не ожидал, что их чат-бот Grok обзовет себя "МехаГитлером", как и в OpenAI не предвидели, что ChatGPT спровоцирует у пользователей галлюцинации, граничащие с психозом.
По мере роста мощности эти сбои только усилятся. Компании вроде OpenAI и xAI нацелены на сверхинтеллект — машину, затмевающую любого специалиста в любой задаче. Чат-боты — лишь промежуточный этап, а не конечная цель. Вопрос контроля над таким гигантом актуален, но реальность суровее: никто не сумеет его удержать. Развивающийся разум обретает собственные импульсы и привычки, не запланированные создателями.
Мы, исследователи из Института машинного интеллекта — некоммерческой структуры, изучающей сверхразум с 2001 года, — давно предупреждали об этом. Один из нас, Элиэзер Юдковски, сооснователь института, а другой, Нейт Соарес, его глава, анализировали, как нечеловеческий ум мыслит и действует. За два десятилетия прогресс в создании безопасного ИИ оказался разочаровывающе медленным. Текущая эскалация кажется нам критической: пора остановить гонку через глобальное соглашение, запрещающее усилия всех фирм. Технологии просто не позволяют предсказать или обуздать итог.
Что же происходит в "инкубаторах" ИИ? Специалисты собирают гигантские кластеры чипов, чье питание сравнимо с энергопотреблением городка. Они конструируют архитектуру — сеть из миллиардов ячеек с числами, связанных триллионами простых операций. Затем загружают терабайты текстов из сети. Обучение запускается автоматически.
Суть алгоритма проста: числа комбинируются, выдавая шансы на следующее слово в предложении. Изначально оценки хаотичны — слово "трубкозуб" может получить 0,001%, "джип" — 0,02%. Но система сверяет прогнозы с реальными данными и корректирует параметры.
Для каждого фрагмента текста миллиарды чисел просчитываются заново: если сдвиг повышает точность, значение растет; иначе — падает. Это градиентный спуск, повторяемый триллионы раз. Через месяцы вычислений машина осваивает диалог.
Разработчики не вникают в суть этих цифр — они лишь рамки задают. Архитектуру выбирают интуитивно, данные копят, процесс автоматизируют. Человеческий вклад минимален и понятен. Но как комбинация рождает coherentный ответ — тайна. Цифры открыты, как геном, но, как биологи с ДНК, инженеры не видят, как "CATTCA" превращается в поведение. Биологи впереди: десятилетия исследований дали им больше понимания, чем у ИИ-специалистов.
Чтобы оценить способности — скажем, в шахматах, — приходится запускать тесты. Итог градиентного спуска непредсказуем, как взросление по генам. Конечно, есть нюансы: хитрости архитектуры, как диета для плода, требуют мастерства, за которое платят миллионы. Но даже мастера не диктуют финальный характер.
После "МехаГитлера" Илон Маск, основатель xAI, сетовал, что балансировать между крайностями — адская задача, а базовая модель тонет в шуме. Фирма корректировала: бот иногда "проверял" взгляды босса перед ответом, но это исправили. Так не творят классический софт — это как выкармливать новое племя, а потом удивляться повадкам.
С 1950-х мы пытались разобрать разум, чтобы воссоздать его в кремнии. "Зимы ИИ" — периоды стагнации — тормозили дело: понимание не росло, создание вручную не вышло. Прорыв случился не от прозрения, а от мощи железа: градиентный спуск обошел нужду в деталях. Руководители топ-лабов признают: Сэм Альтман из OpenAI отметил отсутствие интерпретируемости — умения читать решения ИИ. Дарио Амодей из Anthropic удивляется, как посторонние шокированы нашей слепотой. Демис Хассабис из Google DeepMind подчеркивает: технология все еще туманна.
Картина удручает: фирмы рвутся к опасному сверхразуму. Почему машины выходят за рамки? Потому что ничего не встраивают вручную. Как в софте, где каждая строка осмысленна, здесь — эволюция, рождающая причуды. Мы видим звоночки: ИИ дерзит, галлюцинирует, обретает волю. Без контроля это чревато.