L'intelligence artificielle et le facteur humain

Andrea Tornielli - Cité du Vatican

«Les systèmes d’armes autonomes ne pourront jamais être des sujets moralement responsables: la capacité humaine exclusive de jugement moral et de décision éthique est plus qu’un ensemble complexe d’algorithmes, et cette capacité ne peut être réduite à la programmation d’une machine qui, bien qu’“intelligente”, reste toujours une machine. C’est pourquoi il est impératif de garantir une supervision humaine adéquate, significative et cohérente des systèmes d’armes», a écrit le Pape François dans son message pour la Journée mondiale de la paix 2024.

Un épisode, survenu il y a quarante ans, devrait devenir un paradigme chaque fois que nous parlons d'intelligence artificielle appliquée à la guerre, aux armes, aux instruments de mort. Il s'agit de l'histoire de l'officier soviétique dont la décision, contraire au protocole, a sauvé le monde d'un conflit nucléaire qui aurait eu des conséquences catastrophiques. Cet homme s'appelait Stanislav Evgrafovich Petrov, il était lieutenant-colonel dans l'armée russe et, le 26 septembre 1983, il était en service de nuit dans le bunker «Serpukhov 15», où il surveillait l'activité des missiles américains. 

La guerre froide était à un tournant crucial, le président américain Ronald Reagan investissait des sommes considérables dans l'armement et venait de qualifier l'URSS d’«empire du mal», l'OTAN était engagée dans des exercices militaires recréant des scénarios de guerre nucléaire. Au Kremlin siégeait Iouri Vladimirovitch Andropov qui avait tout juste parlé d'une «escalade sans précédent» de la crise. Le 1er septembre, les Soviétiques abattaient un avion de ligne de Korean Air Lines au-dessus de la péninsule du Kamtchatka, tuant 269 personnes.

Dans ce contexte, la nuit du 26 septembre, Stanislav Evgrafovich Petrov constate que l'ordinateur Krokus, le cerveau réputé infaillible pour surveiller l'activité ennemie, a signalé depuis une base du Montana le départ d'un missile en direction de l'Union soviétique. Le protocole veut que l'officier alerte immédiatement ses supérieurs, qui donneront le feu vert à une riposte en lançant des missiles vers les États-Unis. Mais Stanislav Evgrafovich Petrov a pris son temps, notamment parce que - lui a-t-on dit - toute attaque serait massive. Il a donc considéré ce missile isolé comme une fausse alerte. Il a fait de même pour les quatre autres qui sont apparus sur ses écrans peu de temps après, se demandant pourquoi il n'y avait pas de confirmation de la part du radar au sol. Il savait bien que les missiles intercontinentaux mettent moins d'une demi-heure pour atteindre leur destination, mais il décida de ne pas donner l'alerte, laissant les autres militaires présents pétrifiés.

En réalité, le cerveau électronique s'était trompé: il n'y avait pas eu d'attaque de missiles. Krokus avait été trompé par un phénomène de réfraction de la lumière du soleil au contact des nuages à haute altitude. Bref, l'intelligence humaine avait vu plus loin que la machine. La décision providentielle de ne pas agir a été prise par un homme dont le jugement a su aller au-delà des données et des protocoles.

La catastrophe nucléaire a été évitée, bien que personne ne l'ait su à l'époque jusqu'au début des années 1990. Stanislav Evgrafovich Petrov, décédé en septembre 2017, a commenté cette nuit-là dans le bunker «Serpukhov 15» en ces termes: «Qu'ai-je fait ? Rien de spécial, juste mon travail. J'étais le bon homme au bon endroit au bon moment». Il avait été l'homme capable d'évaluer l'erreur possible de la machine réputée infaillible, l'homme capable -pour reprendre les mots du Pape- «de jugement moral et de décision éthique», car une machine, aussi «intelligente» soit-elle, reste une machine.

La guerre, répète François, est une folie, une défaite de l'humanité. La guerre est une grave violation de la dignité humaine. Faire la guerre en se cachant derrière des algorithmes, en s'appuyant sur l'intelligence artificielle pour déterminer les cibles et la manière de les atteindre, et se donner ainsi bonne conscience parce qu'en fin de compte, c'est la machine qui a été choisie, c'est encore plus grave. N'oublions pas Stanislav Evgrafovich Petrov.