Красный Крест выступает против роботов-убийц

Никто не хочет описанного в "Терминаторе" машинного апокалипсиса. На сегодняшний день идея человечества, уничтоженного роботами — все еще область беллетристики.

Но Международный комитет Красного Креста, вникнув в вопрос использования роботов на войнах, опубликовал необычное заявление:

"Решения убивать и уничтожать — ответственность человека".

Что хотели сказать в организации — и увидели ли там угрозу, которую пока не видят другие?

Какие существуют роботы и что они делают

Современные армии уже используют роботов достаточно широко:

• к основным сферам применения относят не только военные действия, но и разведку, инженерные работы и тыловое снабжение.

Если говорить о боевых роботах, то известнее всех на данный момент

• израильский автомобиль-беспилотник Guardium, который напоминает багги. Он создан для поддержки колонн пехоты, принят на вооружение в 2009 году и может патрулировать территорию по заданным маршрутам в полностью автономном режиме.
•  TALON — по сути, это гусеничная платформа с вооружением. Робот может использовать винтовки (в том числе снайперские), пулеметы и гранатометы. Производитель обещает: в скором будущем один робот TALON обойдется покупателю всего в 150 тысяч долларов.

Почему Красный Крест вдруг поднял этот вопрос

Красный Крест не поощряет убийства и разрушения. Это логично. Однако весьма внезапно их появление в дискуссии на тему "Могут ли роботы убивать".

Специалисты организации при этом упирают даже не на сам факт убийства роботами людей, а на то, что в конце цепочки приказы отдают люди. И очень важно, чтобы все так и осталось.

"Мы призываем: ограничивайте автономность роботов и роботизированных систем, стоящих на вооружении. Это позволит использовать их в рамках базовых принципов общественного контроля и гуманности", — говорится в заявлении МКК (Международный Красный Крест).

Это заявление поступило в рамках Совещания экспертов по системам смертельного автономного оружия.

Заседание прошло в Женеве еще в 2016 году, однако обсуждают его до сих пор. Дело в том, что именно в рамках Совещания можно вносить изменения в Конвенцию ООН о конкретных видах обычного оружия. И ранее в рамках Конвенции были запрещены, например, огнеметы (поскольку они имеют ограниченную военную полезность, но при этом являются чрезвычайно жестоким способом убийства).

"Смертельные автономные системы оружия — это невероятно широкая категория вооружений. Сомневаемся, что люди хотят видеть роботов, которые бегают вокруг и сами решают, кого убивать", — отметили в МКК.

Что запретят, если МКК добьется своего

Дело не в том, приняты или нет какие-либо роботы на вооружение. Дело в том, насколько они зависят от людей.

"Для осмысленного контроля человека над этим оружием требуются строгие оперативные ограничения в отношении выполняемой задачи, поражаемых целей, оперативной среды, географического пространства и времени действия, возможностей, позволяющих осуществлять человеческий контроль за работой системы оружия, и способность человека деактивировать его в случае необходимости", — подчеркивают в МКК.

Если говорить просто — у робота всегда должен быть оператор, который и нажимает на спусковой крючок, а также имеет возможность аварийно выключить робота. Если не оставить "путей отхода", кто при выходе из-под контроля возьмет на себя ответственность?

К примеру, возьмем бомбардировщик с дальнобойной противокорабельной ракетой. Эта ракета настолько "умна", что может сама выбирать цели в полете. Но по мнению МКК, это негуманно:

• такие роботизированные ракеты, которые действуют в итоге вне человеческого контроля, нужно запрещать.

Рассмотрим также противокорабельную ракету большой дальности, разработанную компанией Lockheed Martin для ВМС США. Ракета может самостоятельно прокладывать пути к целевым кораблям и определять цели по сигналам, которые они посылают.

По правилам Красного Креста, недостаточно лишь выбрать цель при стрельбе:

• оператор должен одобрить изменение цели, иначе оружие нарушает гуманитарные нормы войны.

Мнения специалистов: военные задумались, ученые за сдерживание

Красный Крест — не единственная группа, пытающаяся регулировать нормы использования автономного оружия.

Даже в армии есть люди, понимающие такую необходимость: к примеру, заместитель министра обороны США Боб Ворк затрагивал эту тему неоднократно. По данным Пентагона,

"…замминистра отметил, что давать машине право решать, кого убивать, а кого нет, военные не собираются. Единственные ситуации, где машина обязана решать быстрее человека — это кибер-войны, то есть работа с разными электронными данными".

С точки зрения ученых нужно уточнить термины, которые так широко начали освещать в СМИ. Марк Губруд, физик и адъюнкт-профессор программы "Мир, война и оборона" в Университете Северной Каролины, отмечает, дискуссия пошла изначально по неверному пути.

"Вопрос не в том, как определить автономию. Вопрос в том, где и когда мы наконец остановимся в гонке вооружений. Успеем ли мы это сделать до появления чего-то автономного настолько, чтобы действовать полностью вне контроля человека?", — задается он вопросом.

Весь смысл называть что-то автономным в том, что оно действует вне контроля человека.

"Если автономная робо-система принимает решение в рамках внутреннего программирования и влияния окружающей среды, то это не человеческий контроль, — говорит он. — Вы могли запрограммировать робота, и вы можете быть уверены, что он принимает правильные решения, но вы не контролируете его, когда он принимает эти решения. Человеческий контроль — это когда человек принимает решения. Смысл называть что-то автономным заключается в том, что оно действует вне контроля человека и самостоятельно принимает решения".

Профессор и автор исследований в области безопасности Хизер М. Рофф пишет, что риски от роботов, воюющих автономно, настолько велики, что стоит полностью запретить разработки по этому направлению.

"Когда речь идет о сложном автоматическом оружии, правительства должны тщательно продумать, следует ли применять это оружие в сложных условиях. Государствам следует установить правила их использования. Но действительно автономные системы — ограниченного самообучения или даже более совершенное оружие — должны быть запрещены. Их использование несет огромный риск для гражданского населения; может обострять конфликты; скорее всего спровоцирует гонку вооружений в искусственном интеллекте", — комментирует Рофф.

Главная проблема: готовы ли мы рискнуть?

В прошлом году Центр новой американской безопасности (аналитический центр в Вашингтоне) опубликовал отчет, пытаясь разделить большие дебаты о роботах-убийцах на множество небольших дискуссий о степени автономности, вовлеченности человека и типе решения.

"МКК ссылается на важность требований общественного сознания в понимании законности автономных систем оружия. Учитывая отсутствие общественной осведомленности по теме автономных систем оружия во всем мире, мы должны быть осторожны и не называть какой-то из "полюсов" этой проблемы тем, который одобряет общество", — сообщают аналитики.

Простыми словами — неплохо было бы провести опросы общественного мнения и в целом посвятить теме побольше времени как в обычных, так и в электронных СМИ.

Один из ключевых вопросов, поднятых в заявлении МКК, звучит так: должны ли требования для оценки предсказуемости и надежности любых гипотетических автономных систем вооружений быть такими же или более высокими, чем для других систем оружия.

Мы, как вид, потенциально сталкиваемся с уникальной перспективой: чтобы защитить себя от других людей, готовы ли мы доверить "неограниченные полномочия" машинам? И если да, то в какой степени?

Ясно, что Красный Крест считает, что мы должны очень тщательно обдумать наши следующие шаги. Однако в таком вопросе никто не сможет сказать точно: "да" или "нет". И в этом заключается главная проблема "воюющих роботов".

Фото:a-a-ah.ru