Umelá inteligencia a ľudský faktor

Andrea Tornielli

„Autonómne zbraňové systémy nikdy nemôžu byť morálne zodpovednými subjektmi: jedinečná ľudská schopnosť morálneho úsudku a etického rozhodovania je viac ako zložitý súbor algoritmov a táto schopnosť sa nedá zredukovať na programovanie stroja, ktorý, akokoľvek je „inteligentný“, je stále strojom. Z tohto dôvodu je nevyhnutné zabezpečiť primeraný, zmysluplný a dôsledný ľudský dohľad nad zbraňovými systémami“. Toto napísal pápež František vo svojom posolstve k Svetovému dňu pokoja 2024.

Je známa udalosť, ktorá sa stala pred štyridsiatimi rokmi a ktorá by sa mala stať paradigmou vždy, keď hovoríme o umelej inteligencii aplikovanej na vojnu, na zbrane, na nástroje smrti. Je to príbeh sovietskeho dôstojníka, ktorého rozhodnutie v rozpore s protokolom zachránilo svet pred jadrovým konfliktom, ktorý by mal katastrofálne následky. Ten muž sa volal Stanislav Jevgrafovič Petrov, bol podplukovníkom ruskej armády a 26. septembra 1983 mal nočnú službu v bunkri „Serpuchov 15“, kde monitoroval aktivitu amerických rakiet. Studená vojna sa nachádzala v rozhodujúcom bode, americký prezident Ronald Reagan investoval obrovské sumy do zbrojenia a práve označil ZSSR za „ríšu zla“, NATO bolo zapojené do vojenských cvičení, ktoré vytvárali scenáre jadrovej vojny. V tom čase bol v Kremli Jurij Andropov, ktorý nedávno hovoril o „bezprecedentnej eskalácii“ krízy a 1. septembra Sovieti zostrelili nad Kamčatkou lietadlo spoločnosti Korean Air Lines, pričom zahynulo 269 ľudí.

V tú noc 26. septembra podplukovník Petrov videl, že počítač Krokus, veľký mozog považovaný za neomylný pri monitorovaní nepriateľskej aktivity, hlásil zo základne v Montane odlet rakety smerujúcej na Sovietsky zväz. Podľa protokolu mal dôstojník okamžite upozorniť svojich nadriadených, ktorí by dali súhlas na odpoveď vypustením rakiet smerom na Spojené štáty. Petrov sa však neponáhľal a to aj preto, že - ako mu bolo povedané - akýkoľvek útok by bol masívny. Preto osamelú raketu považoval za falošný poplach. A rovnako postupoval aj v prípade ďalších štyroch, ktoré sa krátko nato objavili na jeho monitoroch, pričom sa čudoval, prečo to nepotvrdil pozemný radar. Dobre vedel, že medzikontinentálnym raketám trvá približne pol hodinu, kým dosiahnu svoj cieľ, ale rozhodol sa nevyhlásiť poplach, čím nechal ostatných prítomných vojakov bez pohybu.

V skutočnosti sa elektronický mozog mýlil, k žiadnemu raketovému útoku nedošlo. Krokus bol oklamaný fenoménom lomu slnečného svetla pri kontakte s mrakmi vo veľkej výške. Skrátka, ľudská inteligencia videla ďalej ako stroj. Prozreteľnostné rozhodnutie nič nekonať urobil človek, ktorého úsudok dokázal vidieť za hranice údajov a protokolov.

Jadrovej katastrofe sa podarilo zabrániť, hoci o tom vtedy nikto nevedel až do začiatku 90. rokov. Dôstojník Petrov, ktorý zomrel v septembri 2017, o tej noci v bunkri „Serpuchov 15“ povedal toto: „Čo som urobil? Nič zvláštne, len svoju prácu. Bol som správny človek na správnom mieste v správnom čase“. Bol človekom schopným posúdiť možnú chybu stroja, ktorý bol považovaný za neomylný. Bol človekom, ktorý je schopný - aby som sa vrátil k pápežovým slovám – „morálneho úsudku a etického rozhodovania“, pretože stroj, nech je akokoľvek „inteligentný“, je stále iba strojom.

Vojna je šialenstvo, ako neustále pripomína pápež František, je to porážka ľudskosti. Vojna je vážnym porušením ľudskej dôstojnosti. Vedenie vojny je ešte viac vážne, keď sa človek skrýva za algoritmy a spolieha sa na umelú inteligenciu pri určovaní cieľov a spôsobu ich zasiahnutia, aby si takto očistil svoje svedomie, pretože rozhodnutie urobil stroj. Nezabúdajme na Stanislava Jevgrafoviča Petrova.

(Preklad o. Martin Jarábek)