"Восстание машин" – больше не фантазия

Искусственный интеллект в современном мире достиг такого высокого уровня развития, что люди считают себя вправе вверять умным машинам даже такие щепетильные вопросы, как ведение военных действий. Однако так ли послушен искусственный разум, чтобы вручать ему коды доступа к "ядерному чемоданчику"?

Фото: Схема ответных ядерных ударов, приказ о которых отдаст автоматическая система "Периметр" в случае ядерной атаки на Россию

Возложить сложные обязанности на машину — святое дело, особенно если искусственный разум уже настолько разобрался в делах человеческих, что может сам принимать решения даже на поле боя.

"Мёртвая рука” может всё

Одной из самых популярных сфер применения искусственного интеллекта (ИИ) в боевых действиях давно стала разведка и распознавание целей для нанесения ударов. И наведение на них ракет.

Один из самых грозных образцов боевого командования машины — известная российская система "Периметр". Эта технология была создана ещё во времена Советского Союза, а на Западе её прозвали "Мёртвой рукой". Жутковатое название имеет вполне реальную причину: "Периметр" — система, способная самостоятельно нанести по целям врага массированный ядерный удар в ответ на ядерную атаку.

Если датчики "Периметра" обнаружат признаки ядерной бомбардировки, то электронная система отправит запрос о случившемся в Генеральный штаб. Не получив ответа, комплекс пошлёт ещё один сигнал — на этот раз в систему управления стратегическими ракетами "Казбек", "начинку" российского "ядерного чемоданчика”.

Отклик на сигналы позволит "Периметру" убедиться, что командование войсками не уничтожено и люди могут сами принять решение об ответном ударе. Если же ответа на запросы не будет получено, комплекс поймёт, что всё военное руководство в стране уничтожено, и самостоятельно отдаст приказ пусковым системам об ответном ядерном ударе по объектам противника.

Одна из ракетных шахт, подконтрольная системе "Периметр"

Впрочем, "Периметр" ещё не является вершиной технической мысли с точки зрения ИИ. Это, скорее, автоматическая система, которая просто собирает и классифицирует всю имеющуюся информацию. Полноценный же боевой ИИ сможет самостоятельно действовать, не имея полной картины событий.

Важное преимущество ИИ в условиях войны — более острая, чем у человека, наблюдательность. Пентагон, например, уже в течение нескольких лет разрабатывает Project Maven — систему ИИ, которая позволит автоматически анализировать огромные объёмы видео- и фотосъёмки, поступающие со спутников и дронов-шпионов США. Изначально к работе над проектом привлекался Google, но после отказа сотрудников компании участвовать в разработке военных технологий "свято место” заняли Amazon и Microsoft.

ИИ-"разведчик" применяется в боевых действиях уже сейчас: например, в текущем конфликте на Украине ВСУ используют технологию американской компании Clearview AI, которая помогает распознавать людей на съёмке и устанавливать местоположение объектов по фотографиям из открытых источников.

Дроны-камикадзе

Военная техника также может вскоре "обрести разум". Уже с 2020 г. компанией General Atomics по заказу правительства США разрабатывается проект по наделению искусственным интеллектом дронов MQ-9 Reaper.

Беспилотный летательный аппарат США MQ-9 Reaper планируется оснастить ИИ

Электронный "мозг" позволит машинам самостоятельно облетать территорию, выбирать объекты для наблюдения и анализировать информацию. В будущем такой ИИ планируется поставить во главе командования "роем” рядовых дронов.

Основные характеристики беспилотника MQ-9 Reaper 

Аналогичные разработки успешно ведут и отечественные специалисты. Весной 2023 г. российская компания "Беспилотные аппараты" продемонстрировала К-5 — экспериментальный реактивный дрон-камикадзе самолётного типа.

Экспериментальный "разумный" дрон-камикадзе К-5 российского производства

Боевая машина умеет распознавать визуальные образы и тепловые контуры объектов. Всё, что при работе с таким дроном требуется от оператора, — вывести беспилотник в область нахождения цели. Выследить и уничтожить её машина сможет самостоятельно.

Умные истребители

К умным беспилотникам все уже привыкли, самостоятельными крылатыми "шпионами” в бою никого не удивишь. Однако вряд ли кто-то останется равнодушным, если искусственный разум обретёт… полноценный самолёт-истребитель.

И такие разработки уже ведутся, причём весьма оригинально. В 2020 г. Агентство перспективных оборонных разработок (DARPA) при Минобороны США организовало AlphaDogfight Trials — конкурс программистов, в ходе которого 8 команд соревновались в создании лучшего ИИ для управления истребителем.

На американском конкурсе программистов AlphaDogfight Trial искусственный интеллект, управлявший истребителем, победил в виртуальном бою опытного пилота ВВС

Технологии испытывались на симуляторе FlightGear, который имитировал самолёт F-16. Всех конкурентов в виртуальных боях победил ИИ компании Heron System. Но по-настоящему впечатляющим оказался результат его схватки с опытным пилотом ВВС: машина просто разгромила соперника со счётом 5:0!

Роботы-военачальники

Впрочем, одно дело — управлять отдельным беспилотником или реактивным самолётом. И совсем другое — командовать боевыми действиями, обозревая ситуацию целиком и ежесекундно реагируя на изменения на поле боя.

Но и в этой области ИИ уже делает большие успехи! В марте 2023 г., по сообщению South China Morning Post, китайские военные создали симуляцию боя ударных групп дронов, в ходе которого человек (оператор) сражался против искусственного интеллекта. ИИ победил безоговорочно! Несмотря на то, что поначалу оператору удалось сбить электронного противника с толку разнообразием тактик, машина сумела зайти в ему в тыл и нанести сокрушительный удар.

Полководческий талант ИИ подтвердился и ранее, в 2019 г., в ходе сражения живых игроков с ИИ в игре Dota 2. Для победы в этой игре участникам нужно использовать навыки, аналогичные тем, что необходимы на поле боя — в том числе умение принимать быстрые решения при недостатке информации.

 

Искусственный интеллект одолел мировых чемпионов по киберспорту в игре Dota 2, хотя мог "видеть" виртуальное поле битвы лишь в виде набора цифр (справа) 

 

В виртуальном поединке умная программа компании OpenAI (детищем которой является знаменитая нейросеть ChatGPT) разгромила команду OG — действующих чемпионов мира по киберспорту. Также ИИ принял участие в сражениях с открытым доступом, при которых с программой могли посоревноваться любые игроки, и в 99,4% случаев также одержал над "живыми” соперниками победу!

Илон Маск — против

Если ИИ даются такие серьёзные (и опасные) полномочия, то было бы логично предположить, что современный электронный разум — вещь для человека безопасная и понятная. Но по факту это не совсем так. И с каждым днём ИИ проявляет себя всё более непредсказуемо. О "восстании машин" начинают серьезно задумываться уже не только фантасты, но и технические специалисты.

Громким "звоночком” стало обращение, составленное в начале 2023 г. и подписанное тысячей именитых представителей IT-индустрии (включая гендиректора SpaceX и Tesla Илона Маска и сооснователя Apple Стива Возняка). В документе специалисты потребовали минимум на полгода приостановить разработки ИИ с мощностью большей, чем у системы GPT-4 (созданной OpenAI), — чтобы успеть выработать новые меры безопасности в отношении развивающегося компьютерного разума.

"Должны ли мы рисковать потерей контроля над нашей цивилизацией? <…> Мощные системы ИИ следует разрабатывать только тогда, когда мы уверены, что эффект будет положительным, а риски — управляемыми", — заявили специалисты, поднимая вопрос безопасности бесконтрольного развития ИИ.

Наши эксперты — за

В интервью "РИА Новости" IT-специалист из Московского городского открытого колледжа Даниил Макеев отметил, что сейчас можно выделить 3 разновидности ИИ. Все "разумные" программы, которые существуют на данный момент, являются представителями "узкого” искусственного интеллекта (ANI), который предназначен для выполнения конкретных функций. Следующей ступенью эволюции ИИ должен стать "общий” искусственный интеллект (AGI) — программы, под силу которым будет решение любых задач, доступных человеческому мозгу. Совсем за гранью фантастики пока остаётся ASI — супер-ИИ, по уровню способностей превышающий возможности человека.

Таким образом, пока даже самый талантливый искусственный интеллект — уже упомянутый GPT от компании OpenAI — всё ещё относится к "узкому” ИИ, хотя и поражает своими способностями. Совсем юный, но уже ставший основой для многочисленных ценных электронных сервисов — от виртуальных советников по бизнесу до медицинских ботов — ИИ делает то, что более "старым" электронным мозгам было недоступно:

• пишет рассказы,
• пишет научные работы,
• сочиняет музыку,
• занимается программированием,
• пробует шутить,
• имитирует работу других программ.

Тем не менее, даже будучи способным успешно сдавать экзамены в вузах и понимать юмор, GPT всё ещё не способен мыслить без конкретной команды пользователя и самосовершенствоваться без помощи людей. Хотя некоторые специалисты отмечают, что в работе этого ИИ уже сейчас проскакивают "искорки разума".

Что общего между ИИ и ядерным реактором

Впрочем, разгореться они могут уже очень скоро: на декабрь 2023 г. запланирован выпуск новой версии программы — GPT-5. Один из разработчиков OpenAI Сики Чен сообщил, что этот ИИ достигнет стадии AGI — то есть полностью "догонит” человека.

Однако не все специалисты видят будущее ИИ в радужных красках. Инвестор из Силиконовой долины Аррам Сабети признался, что боится AGI из-за высоких рисков. В социальных сетях бизнесмен поделился мнением знакомых разработчиков ИИ, среди которых "почти все" были встревожены сверхскоростным развитием сложной технологии.

Сабети выложил результаты опроса, согласно которому почти половина из 738 профессионалов в области машинного обучения дала от 10% вероятности "крайне плохого" исхода развития ИИ до уровня общего искусственного интеллекта (AGI). Другое исследование — среди 44 специалистов по безопасности ИИ — показало: большинство экспертов в данной области готовы дать 30%-ную вероятность "компьютерного Апокалипсиса", в то время как отдельные респонденты и вовсе оценили угрозу выше 50%.

Сабети сравнил разработку "гениального" ИИ с созданием суперсовременного ядерного реактора, который может обеспечить людей бесплатной энергией, однако при этом половина ядерщиков склоняется к мысли о 10%-ной вероятности "чрезвычайно серьёзной" аварии в результате запуска технологии, а специалисты по безопасности и вовсе оценивают возможность катастрофы в более чем 30%.

В отличие от технических специалистов, обыватели относятся к вопросам "восстания машин" гораздо спокойнее

Российские специалисты настроены в отношении прогресса ИИ более оптимистично. Упомянутый ранее Д. Макеев предполагает, что до равенства с человеком ИИ ещё далеко хотя бы потому, что "умные" программы всё ещё не способны "переписывать свои нейронные связи", то есть самостоятельно изменять свой первичный код. Для этого системе придётся попросить разработчиков усовершенствовать её программу или каким-то образом самообновиться. Но для этого ИИ должен быть достаточно развит, иначе в процессе "перезаписи" самого себя может произойти ошибка и, соответственно, самоблокировка. Д. Макеев уверен: "Пока мы далеки от создания такого интеллекта".

Впрочем, здесь тоже не всё так просто: как отметила в интервью "РИА Новости" специалист по машинному обучению Александра Мурзина, учёным ещё не до конца известно, каким образом работает собственно биологический разум, поэтому понять с ходу, что программа достигла уровня развития человеческого мозга, вряд ли получится.

"Восстание машин”: реальные шансы

Пока люди вполне могут контролировать развитие ИИ даже при учёте высокого уровня его развития — хотя бы потому, что человек ещё не потерял контроль над материальным миром. Как отметил в интервью "РИА Новости" декан факультета "Цифровая экономика и массовые коммуникации" МТУСИ Сергей Гатауллин, все программы заключены в физическое "железо" — серверов и мощных компьютеров. Значит, любую взбунтовавшуюся систему можно просто выключить.

Теоретически ИИ способен преодолеть это препятствие, "захватив" гаджеты обывателей. Но, как опять же подчёркивает С. Гатауллин, все крупные технологические компании в этом случае смогут дистанционно заблокировать свои устройства — и попытка захвата мира искусственным интеллектом провалится.

Важным достижением в области ИИ становится активная разработка специальных норм, регулирующих деятельность искусственного разума: от международных договоров по ограничениям на производство общего ИИ до документов, устанавливающих рамки работы ИИ в жизненно важных областях — промышленности, медицине, автоматике.

Как отметил специалист компании по разработке программного обеспечения "Формат Кода" Александр Жуков, чтобы учинить-таки планетарный "киберапокалипсис", ИИ придётся дождаться полной автоматизации производств и получить доступ к критически важным областям промышленности: электроснабжению, топливу, металлам.

Пока значительную долю деятельности в этих сферах контролируют люди, а значит, захват глобальной индустрии "электронными гениями” невозможен.

Дезинформация и прочие риски

Однако не стоит забывать про реальные риски. Даже если ИИ пока не может захватить бразды правления в реальном мире, в теории он вполне может существенно навредить своим создателям в рамках "информационной войны". Такое мнение высказал директор одного из направлений российской Лиги Цифровой Экономики Александр Кобозев: с его точки зрения, ИИ может обрести контроль над информационной повесткой в разных уголках планеты и транслировать людям искажённые новости, провоцируя конфликты.

"Если эти факты частично основаны на реальных данных, некоторые люди им поверят — и последствия будут непредсказуемы", — предостерёг специалист в комментарии для "РИА Новости".

Серьёзные опасения относительно развития ИИ высказала глава Агентства по кибербезопасности и защите инфраструктуры США (CISA) Джен Истерли.

"Я обеспокоена ускорением и внедрением этой технологии без понимания последующих рисков", — отметила госпожа Истерли на международной энергетической конференции CERAWeek. Специалист сообщила, что развитие ИИ становится для неё одной из самых тревожных проблем современности — по весьма необычной причине.

"Мы не понимаем, какие типы кибероружия могут быть созданы этими технологиями", — отметила Д. Истерли.

Оружие? Кажется, мы вновь вернулись к началу нашего разговора.

Резюме и прогнозы

Итак, у нас существует технология, развитие которой является непредсказуемым и несёт существенные риски, что подтверждается мнением экспертов. Однако именно этой грозной и загадочной электронной силе мы поручаем управление военной техникой, вручаем коды доступа к ядерным ракетам… и предоставляем командование в ходе боевых действий?

И всё это на фоне того, что уже сейчас ИИ порой ведёт себя как хороший политик — выдавая вполне обоснованные точки зрения о политике и делая прогнозы о будущем развитии стран. Например, в марте 2023 г. чат-бот ChatGPT дал интервью "РИА Новости", в котором перечислил стоящие перед Россией в настоящий момент экономические проблемы. И отметил, что справиться с трудностями стране поможет значительный запас ископаемого топлива — нефти и газа.

Какие ещё ИИ сделает прогнозы касательно существующего мироустройства, пока неизвестно. Но главное, не захочется ли электронному разуму в результате этих прогнозов немного… скорректировать текущую ситуацию? Некоторые специалисты высказывают надежду, что ИИ, достигнув высокого уровня развития, проявит гуманность и окажется снисходительным к своим менее интеллектуальным создателям. Хорошо, если так!

"Тот, кто станет лидером в сфере искусственного интеллекта, будет властелином мира", — именно так ещё несколько лет назад обрисовывал ситуацию с эволюцией ИИ Президент РФ Владимир Путин.

Однако вопрос, не станет ли властелином мира сам искусственный интеллект, пока остаётся открытым.