Вы прочитаете этот материал за 14 минут
Как самые могущественные демократии мира будут решать этические и правовые дилеммы, возникшие в результате разработки так называемых «роботов-убийц» или смертоносных автономных систем оружия (lethal autonomous weapons systems LAWS)? С одной стороны, LAWS обещают беспрецедентные оперативные преимущества, такие как умножение/мультипликация силы, расширение поля битвы и отстранение людей от скучных, грязных или опасных миссий. Авторитарные державы, такие как Китай и Россия, похоже, вкладывают огромные ресурсы в реализацию этих возможностей. С другой стороны, дать автономному оружию право определять, кому жить или умирать, — это этический, практический и юридический кошмар. У нескольких стран есть хорошо проработанная политика, в первую очередь США и Соединенное Королевство.
Эта статья посвящена Франции, которая начала сложную работу по осмыслению этических проблем, связанных с летальными автономными системами оружия. Я являюсь членом Комитета по этике обороны Франции, который подчиняется непосредственно министру обороны страны. В прошлом году комитет представил заключение об «улучшенном солдате», в котором была проведена красная линия между приемлемыми, неинвазивными методами и неприемлемыми методами, такими как генная инженерия.
В апреле Министерство обороны Франции опубликовало еще одно заключение Комитета по этике обороны об «интеграции автономии в системы летального оружия». Мы утверждаем, что LAWS следует понимать как полностью автономное оружие, которое этически неприемлемо по ряду причин, но частично автономные системы летального оружия (partially autonomous lethal weapon systems, PALWS), которые представляют как потенциальные преимущества, так и риски, могут быть этически приемлемыми при определенных условиях.
Почему это имеет значение? Не только потому, что, насколько известно автору, ни у одной другой крупной военной державы нет подобного этического комитета, играющего такую роль в их министерстве обороны, и это само по себе кое-что говорит о французском этосе. Мнение Комитета по оборонной этике по автономному оружию, вероятно, будет подвергнуто тщательному анализу по ряду других причин: именно Франция в 2013 году инициировала многосторонние дебаты по автономному оружию; с тех пор он был активным участником дебатов (см., например, французско-германское предложение 2017 года); а также потому, что Франция будет председательствовать на следующем заседании Конференции по рассмотрению некоторых видов обычного оружия в декабре 2021 года.
LAWS Versus PALWS
Первой — и, возможно, самой важной первоначальной задачей — было определение ключевых терминов. Было решено определить LAWS следующим образом: «Система смертоносного оружия, запрограммированная, чтобы быть способной изменять свои собственные правила действия, особенно в отношении поражения цели, за пределами определенных рамок использования, и способная принимать программным способом решения на выполнение действий без какой-либо оценки ситуации человеческим военным командованием».
Самым важным аспектом этого определения является его узость: в соответствии с позицией Франции в ООН, LAWS считаются полностью автономными системами. Определение LAWS всегда было проблемой, потому что — если понимать их как полностью автономные — мы говорим об оружии, которого еще не существует. В результате нет общего опыта или понимания как себя вести с этим оружием. Это делает ситуацию уникальной в истории контроля над вооружениями. На многосторонних форумах (например, в Организации Объединенных Наций) некоторые государства использовали задачу определения LAWS в качестве предлога, чтобы помешать или перенаправить дебаты. Ограничивая LAWS признаками полностью автономного оружия, Франция защищает ограничительный подход, избегая путаницы этого оружия с дистанционно управляемыми или контролируемыми системами оружия, в которых всегда задействован человек-оператор.
Затем Комитет ввел категорию частично автономных систем летального оружия (PALWS). Было решено определить их как: « [I] интеграция автоматизации и программного обеспечения: [1] которому, после оценки ситуации и под свою ответственность, военное командование может назначить вычисление и выполнение задач, связанных с критическими функциями, такими как идентификация, классификация, перехват и взаимодействие во времени и определенном пространстве и в условиях; [2], которые включают технические средства защиты или внутренние характеристики для предотвращения неправильного использования, отказов и отказа командования от двух жизненно важных обязанностей, а именно оценки и отслеживания обстановки».
PALWS — это промежуточная категория, отличающаяся двумя признаками. С одной стороны, PALWS — это не LAWS, потому что они не могут изменить свои собственные правила работы, они «не могут предпринимать смертоносные инициативы». С другой стороны, PALWS также не являются автоматизированными системами вооружения. Разница между автономией и автоматизацией фундаментальна. После развертывания автономное и автоматизированное оружие может работать без участия человека. Однако, в то время как автоматизация относится к выполнению ограниченного числа повторяющихся и заранее определенных задач (система всегда одинаково реагирует на один и тот же стимул), автономия предполагает способность учиться и приспосабливаться к меняющейся среде. Для примера, мины и некоторые системы противовоздушной обороны автоматизированы в том смысле, что они действуют реактивным и повторяющимся образом, взрываясь или стреляя, когда их сенсоры обнаруживают объект. Они не учатся и не адаптируются, и в этом нет необходимости, потому что им не приходится сталкиваться с неожиданными ситуациями. Их окружение не меняется. PALWS не являются LAWS в том смысле, что они не полностью автономны. Однако, поскольку они все еще (частично) автономны, они также не являются автоматизированным оружием. Несколько существующих видов оружия можно отнести к категории PALWS, среди которых барражирующие боеприпасы, такие как израильский IAI Harop, турецкий STM Kargu-2 и неидентифицированная китайская модель, используемая в роях; американские бомбы CSDB или военный корабль-дрон Sea Hunter.
Здесь можно выдвинуть два возражения. Во-первых, такое различие между LAWS и PALWS определенно не ново ни для международных дебатов, ни для национальных доктрин. Действительно, еще в 2012 году, когда Соединенные Штаты были первой страной, которая установила руководящие принципы для развития и использования автономности в системах вооружений, они уже проводили различие между автономной системой оружия и полуавтономной. Если категория PALWS является терминологическим нововведением во французском языке — особенно в министерском документе — «частично» и «полу» автономные системы оружия, хотя и определяются по-разному, действительно относятся к той же задаче описания того, что находится ниже порога полной автономии.
Во-вторых, принимая узкое определение LAWS, ограниченное полностью автономным оружием, разве Франция не определяет его как нечто, чего никто никогда не хотел? Отвергая LAWS, не происходит ли легализация тем самым более доступного класса вооружения PALWS? Это законное беспокойство. Однако, как член комитета, составившего заключение, намерение не состояло в том, чтобы узаконить какую бы то ни было категорию автономного оружия. Вместо этого цель состояла в том, чтобы добавить необходимую интеллектуальную строгость. Проблема с терминологией «LAWS» состоит в том, что термин «автономный» считается дихотомическим: система является или не является автономной. А если он автономен, то предполагается, что он полностью автономен, чего по уважительным причинам на самом деле никто не хочет. Поэтому более полезно принять альтернативную терминологию, основанную на идее, что интеграция автономии в системы оружия может и будет постепенной. Отказ от LAWS и сосредоточение внимания на PALWS по этой причине не означает, что PALWS не могут быть этически проблематичными. Это не узаконивает их. Скорее их легитимность зависит от ряда критериев. Различие, предлагаемое Комитетом, просто переориентирует обсуждение, чтобы сосредоточить внимание на соответствующей категории.
LAWS неприемлемы
Франция публично отказалась от использования полностью автономного смертоносного оружия как по этическим, так и по эксплуатационным причинам с 2013 года. В 2018 году Президент Эммануэль Макрон заявил, что он «категорически против» LAWS, поскольку они «отменит всякую ответственность». Он добавил: «Решение дать зеленый свет должно быть принято человеком, потому что вам нужно, чтобы кто-то взял на себя ответственность». В мае 2021 года Министр обороны Франции Флоренс Парли подтвердила, что «Франция говорит и всегда будет говорить «нет» роботам-убийцам. Франция отказывается доверять решение о жизни или смерти машине, которая будет действовать полностью автономно и ускользнет от человеческого контроля».
Позиция Франции в отношении LAWS соответствует позиции ее ближайших союзников. В директиве Министерства обороны США от 2012 года прямо говорилось, что их системы вооружения должны «позволять командирам и операторам проявлять соответствующий уровень человеческого суждения при применении силы». Это, конечно, еще один способ сказать, что они не должны быть полностью автономными. Точно так же Великобритания неоднократно заявляла, что «не разрабатывает летальные автономные системы вооружений, а эксплуатация систем вооружений британских вооруженных сил всегда будет находиться под контролем человека». Многие другие государства сделали аналогичные замечания. Это действительно один из немногих пунктов консенсуса в ООН в ходе дебатов о LAWS: так или иначе все настаивают на сохранении человеческого контроля. Никому не нужно полностью автономное оружие, поскольку полная автономия, буквально способность устанавливать свои собственные правила, означала бы непредсказуемость, которая сделала бы такие системы «бесполезными в военном отношении».
Но это порождает более сложный вопрос: должны ли страны запретить LAWS в профилактических целях? В этом и заключается разногласие.
Французский Комитет по этике обороны также отказался включить LAWS в состав вооруженных сил страны по ряду причин. Которые: разрывают цепочку командования; противоречат конституционному принципу свободы действий по распоряжению вооруженными силами; не дают никаких гарантий относительно соблюдения принципов международного гуманитарного права; противоречат нашей военной этике и фундаментальным обязательствам, взятым на себя французскими солдатами, т.к. честь, достоинство, контролируемое применение силы и гуманность.
Комитет счел «законным и жизненно важным продолжить исследования автономии в области смертоносного оружия», исследование было сосредоточено «на путях и средствах, позволяющих французским войскам противодействовать использованию LAWS государствами или другими противниками, но без использования LAWS самим».
PALWS — это интересно и рискованно
PALWS предлагает ряд преимуществ с точки зрения производительности, точности, применимости, защиты и постоянности (command, risk control, compliance, competence, and confidence — «5 Сs»). Что касается производительности, они предоставят средства для увеличения скорости, в частности, за счет сокращения цикла «наблюдение-оценка-решение-действие». Кроме того, одной из величайших проблем будущего ведения войны будет защита от приближающихся обычных или ядерных гиперзвуковых вооружений (не менее 5 Махов, причем некоторые из них, как сообщается, имеют скорость 20 Махов), что оставляет очень мало времени для реагирования и, следовательно, требуется большая автономность. То же верно и в отношении защиты от атаки способом насыщения или роения атакующих объектов. PALWS также будет полезен для наблюдения за очень обширными территориями во всех средах (земля, воздух, море, кибернетика, космос), которые невозможно охватить без определенной степени автономии.
PALWS также поможет справиться с растущим объемом информации («потоком данных»), который захлестывает командные центры и отдельных бойцов. Автономные системы могут помочь в принятии решений на поле боя, которое становится все более сложно составным. Они также помогут физически и виртуально проникнуть в хорошо защищенные районы; повысить точность ударов; и защищать солдат, особенно от самодельных взрывных устройств или в загрязненной окружающей среде. Наконец, PALWS прослужат дольше, чем человеческие команды в море, в воздухе или на земле, особенно в опасной или грязной среде, и, следовательно, они будут обеспечивать большую устойчивость в данной области.
В то же время PALWS представляют ряд рисков. Развертывание автономного оружия — даже если оно является лишь частично автономным — проверяет моральную и социальную приемлемость применения силы без вмешательства человека. Противодействие использованию PALWS внутри страны, в том числе среди самих солдат, может подорвать доверие к действиям и легитимности государства. Машинное обучение также может привести к неожиданным и нежелательным последствиям, так как поднимает проблемы с долгосрочной надежностью систем.
Существует также проблема ответственности: в случае инцидента (например, дружественный огонь или жертвы среди гражданского населения), кого следует считать ответственным? Это действительно одна из основных критических сложностей, направленных на автономное оружие, и на которую ссылаются оппоненты как на причину просить превентивный запрет. Интеграция автономии в системы оружия неизбежно затруднит установление ответственности, поскольку существует множество уровней контроля (государство, производитель, программист, системный интегратор, подрядчик и военный командир). Установление ответственности будет трудным, но не невозможным, потому что автономная способность принимать решения не «разрывает причинно-следственную цепочку, позволяющую установить ответственность и степень вины», как объяснил профессор Марко Сассоли в 2014 году. Более того, такое разбавление ответственности не является чем-то неслыханным, поскольку это уже то, что происходит, когда самолет с автопилотом разбивается, или когда автопилот провоцирует аварию.
Среди других рисков, связанных с внедрением PALWS, Комитет по этике обороны определил взлом (тем самым захват этих систем); психологическое воздействие на людей, особенно тех, кто исключен из процесса принятия решений или больше не может понимать, что делает система, что может привести к невмешательству или «потере человечности» в бою; и другие психологические риски, такие как слепое доверие к машине, потеря уверенности в способности человека справляться со сложной ситуацией и развитие всевозможных когнитивных предубеждений. Также существует риск снижения порога применения силы и риск глобального распространения, включая приобретение негосударственными субъектами.
Как PALWS могут быть этически приемлемыми
Важно очертить условия, при которых было бы этически приемлемым проектирование, разработка и развертывание PALWS. Это то, что Комитет назвал «5С»: командование, контроль рисков, соблюдение требований, компетентность и уверенность (command, risk control, compliance, competence, and confidence).
Для каждой миссии PALWS должны иметься правила, установленные человеческим командованием (с точки зрения цели, пространственных и временных ограничений, правил взаимодействия и других ограничений); машины не должны иметь возможность изменять эти правила самостоятельно (может только человеческое командование); они не должны иметь возможность назначать миссию, отклоняющуюся от того, что было изначально запрограммировано на другой PALWS, или только после подтверждения человеческой командой; и то, что они приобретают с помощью машинного обучения во время миссии, не следует использовать для программирования новых задач без участия человека.
Кроме того, военный персонал, развертывающий PALWS (не только операторы, но и тактические руководители, командиры театра военных действий и стратегические руководители), должен быть соответствующим образом подготовлен и обучен. Точно так же любой персонал, участвующий в проектировании, разработке и продвижении этого оружия (например, инженеры, исследователи, дипломаты, политики) должны быть осведомлены о различных рисках и проблемах, связанных с их использованием. Следует также проинформировать государственные органы. Кроме того, в системах должны быть реализованы такие механизмы, как аварийная деактивация или самоуничтожение, в случае потери связи, а также устройство для прерывания выполняемой миссии.
Французский Комитет по этике обороны также рекомендовал проводить полную юридическую проверку всякий раз, когда в системе летального оружия создается автономия в принятии решений, «особенно в том, что касается функций идентификации, классификации и открытия огня». И наконец, что не менее важно, он также выступал за международную прозрачность.
Заглядывая вперед
В заключении французского Комитета по этике обороны нет ничего радикально нового для тех, кто внимательно следит за десятилетними международными дебатами о более или менее автономном оружии. Большинство, если не все, из этих рекомендаций были сделаны учеными и неправительственными организациями. Что интересно в этом этическом мнении, так это то, что оно также включает юридические, научные и операционные аргументы, и что оно исходит от комитета, созданного Министерством обороны Франции. Однако на карту поставлено не одно государство. Чем больше отдельных государств разработают четкую и подробную государственную политику, тем легче будет согласовать нормативные рамки на глобальном уровне.
Взгляды и мнения, выраженные в этой статье, принадлежат исключительно автору и не обязательно отражают официальную позицию Французского комитета по этике обороны или Министерства вооруженных сил Франции.
