Искусственный интеллект и человеческий фактор
«Автономные системы вооружений никогда не смогут стать морально ответственными субъектами: уникальная человеческая способность к нравственному суждению и принятию этических решений – это нечто большее, чем сложный набор алгоритмов, и эта способность не может быть сведена к программированию машины, которая, какой бы ‘умной’ она ни была, всё равно остаётся машиной. По этой причине крайне важно обеспечить адекватный, полный и последовательный человеческий надзор за системами вооружений». Папа Франциск написал об этом в Послании на Всемирный день мира 2024 года.
Сорок лет назад произошёл эпизод, который должен служить парадигмой всякий раз, когда речь идёт о применении искусственного интеллекта в войне, оружии и орудиях смерти. Это история советского офицера, чьё решение, в нарушение протоколов, спасло мир от ядерного конфликта, чреватого катастрофическими последствиями. Этого человека, подполковника советской армии, звали Станислав Евграфович Петров, и 26 сентября 1983 года он находился на ночном дежурстве в бункере «Серпухов-15», наблюдая за ракетной активностью США. Холодная война была на переломном этапе: президент США Рональд Рейган вкладывал огромные суммы в вооружение и только что назвал СССР «империей зла», НАТО проводило военные учения, воссоздавая сценарии ядерной войны. В Кремле правил Юрий Андропов, недавно заявивший о «беспрецедентном обострении» кризиса, а 1 сентября Советы сбили над Камчаткой пассажирский авиалайнер Korean Air Lines, в результате чего погибли 269 человек.
Той ночью на 26 сентября Петров заметил, что компьютер «Крокус» – «мегамозг», считавшийся непогрешимым в мониторинге вражеской активности, – сообщил о вылете ракеты с базы в Монтане в сторону Советского Союза. Согласно протоколу, офицер был обязан немедленно оповестить начальство, которое дало бы добро на ответный удар, запустив ракеты в сторону Соединённых Штатов. Однако Петров не торопился, не в последнюю очередь из-за инструкции о том, что возможная атака будет массированной. Поэтому он посчитал одиночную ракету ложной тревогой. Так же он поступил в отношении следующих четырёх, вскоре появившихся на его мониторах, задаваясь вопросом, почему нет подтверждения с наземных радаров. Он прекрасно знал, что межконтинентальные ракеты достигают цели менее чем за полчаса, но решил не поднимать тревогу, чем ужаснул остальных сослуживцев.
На самом деле электронный мозг ошибся: никакой ракетной атаки не было. «Крокус» был введён в заблуждение феноменом преломления солнечного света в облаках на большой высоте. Иными словами, человеческий разум увидел больше, чем интеллект машины. Провиденциальный выбор не принимать решения был сделан человеком, чьё суждение сумело выйти за рамки данных и протоколов.
Ядерной катастрофы удалось избежать, хотя до начала 90-х годов об этом никто не знал. Петров, скончавшийся в сентябре 2017 года, так рассказывал о той ночи в бункере «Серпухов-15»: «Я не совершил ничего героического, просто выполнил свою работу. Я лишь оказался в нужное время в нужном месте». Этот человек сумел распознать вероятную ошибку машины, считавшейся непогрешимой, этот человек был способен – возвращаясь к словам Папы – «к моральному суждению и к этическому решению», потому что машина, какой бы «умной» она ни была, остаётся всего лишь машиной.
Война, повторяет Папа Франциск, – это безумие, поражение человечества. Война есть грубое нарушение человеческого достоинства. Ещё более пагубно вести войну, прячась за алгоритмами, полагаясь на искусственный интеллект для определения целей и способов их поражения, и тем самым очищать свою совесть, считая, что решение было за машиной. Не будем же забывать о Станиславе Евграфовиче Петрове.
Андреа Торниелли
