В конце августа – начале сентября в Женеве, в европейском отделении ООН, произошло событие, о котором почти не писали мировые СМИ. Делегации США и России 15 часов правили черновик договора об автономном оружии за закрытыми дверями. Камеры ООН отключили, общественников попросили выйти. На выходе из текста исчезла норма, требовавшая подтверждения человеком удара, выбранного искусственным интеллектом. Так машина, которая сама находит цель и сама решает стрелять, перестала нуждаться в разрешении человека. Подробности – в данной статье.
Стёртая красная линия
С 31 августа по 4 сентября в европейском отделении ООН в Женеве собрались представители более 70 стран. Они потратили больше 10 лет на попытки создать правила для нового типа оружия – автономных систем, которые сами находят цель и сами открывают огонь.
В последний день переговоров делегации США и России устроили марафонскую правку текста, длившуюся около 15 часов. По данным The Washington Post, ссылающейся на трех осведомленных лиц и изученные документы, каждая из сторон выставила примерно по 10 юристов – почти вдвое больше, чем у остальных делегаций. Камеры ООН отключили, наблюдателей из общественных организаций попросили покинуть зал.
В итоге из черновика исчезли несколько ключевых пунктов. Главный из них требовал: после того как искусственный интеллект выбрал военную цель, человек обязан подтвердить удар. Вместе с ним убрали положения о «предсказуемости», «надежности», «объяснимости» и «отслеживаемости» таких систем, а также ссылки на этические соображения.
Это значит, что, как минимум, в этом тексте ООН машине больше не нужно ждать разрешения человека, чтобы самостоятельно решить, жить ему или умереть.
Когда-то это казалось аксиомой…
Писатель-фантаст Айзек Азимов 80 лет назад сформулировал три закона робототехники. Первый и самый главный гласил: робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
Эти три закона в научной фантастике воспринимались как догма. В реальных дискуссиях о контроле над вооружениями они долго оставались нравственным фоном, на котором человечество сохраняло настороженность к силе машин. Но в Женеве эту черту стерли. Один из комментаторов так описал суть произошедшего:
«В Женеве главный закон робототехники отменили. Роботу официально разрешили убивать людей самому».
Это не юридическая «лицензия на убийство» в прямом смысле. Но это серьезный откат назад в попытках международного сообщества ограничить автономное оружие. Ранее более 70 стран выражали готовность начать официальные переговоры: одни требовали полного запрета таких систем, другие настаивали, как минимум, на принципе «человек в цепочке принятия решения». Теперь этот консенсус сильно размыт.
Почему США и Россия? Почему сейчас?
Чтобы понять это, нужно увидеть более широкую картину. Сочетание автономного оружия и искусственного интеллекта в военной сфере развивается быстрее, чем кто-либо мог представить. По данным The Washington Post, армия США в первые 24 часа операции против Ирана использовала некий чат-бот для помощи в идентификации почти тысячи целей.
Израиль в ходе военной операции в Газе также активно применял системы с искусственным интеллектом. Скорость технологических изменений давно обогнала скорость создания международных правил. США и Россия как два крупнейших игрока в области военного искусственного интеллекта не хотят, чтобы юридически обязывающий договор связывал им руки.
По сообщениям, в американскую команду входили дипломаты Госдепартамента, представители Пентагона и юристы, «готовые защищать автономность американских военных». Примечательная деталь: окончательное решение принималось по принципу консенсуса – либо принимаете измененный текст, либо никакого документа не будет.
Для многих небольших делегаций скорость, с которой США и Россия переписывали документ, оказалась слишком высокой, чтобы успеть отреагировать.
«Мы соревнуемся с машиной»
Тем, кто следит за российскими дискуссиями о военных технологиях, имя Олега Царева хорошо знакомо. Бывший депутат Верховной Рады Украины, ныне живущий в Крыму, он давно и внимательно наблюдает за тем, как ИИ меняет военное дело. В связи с женевскими событиями он высказал два суждения, над которыми стоит задуматься.
Первое – о неизбежности удаления человека из цепочки решений. Царев писал:
«А что человека из цепочки уберут – у меня, к сожалению, сомнений не было. Когда стоит вопрос о разработке более эффективного оружия, в гуманизм не играют».
Второе – о сути этой гонки. Ранее, комментируя милитаризацию искусственного интеллекта в США, он отмечал:
«Они считают, что когда они это сделают… воевать ни с кем уже будет не надо. Через пять лет все встанут на колени в очередь к США. Никому в голову не придет воевать, потому что в окно прилетит дрон и выстрелит тебе в глаз».
Эти два высказывания, взятые вместе, ведут к одному выводу: распространение автономного оружия не остановится из-за ослабленного документа ООН. Наоборот, вакуум в правилах только ускорит гонку. Кто первым добежит, тот и будет определять, как выглядит поле боя.
В ноябре представители стран снова соберутся в Женеве, чтобы решить, превращать ли этот необязывающий текст в полноценные переговоры о договоре. Но после тех 15 часов в сентябре перспективы выглядят безрадостно.
Представитель Human Rights Watch* (признана нежелательной в России) Верити Койл предупреждает: ослабленные гарантии могут означать «больше жертв среди гражданских, меньше ответственности и более быстрое скольжение к более опасной автоматизированной войне».
Машина уже получила право сама нажимать на спуск. Остается один вопрос: когда первая полностью автономная боевая система без всякой команды человека отнимет жизнь, кто будет за это отвечать? Ответить некому, потому что с самого начала никто не захотел вписать этот ответ в бумагу.
* Human Rights Watch – данная организация признана нежелательной в России.
Автор: Артем Воеводин
Источник: RuNews24