Errori letali e scatole nere dei robot
Sono quattro i pericoli principali con armi autonome. Il primo è il problema dell’errata identificazione. Quando si seleziona un bersaglio, i robot killer saranno in grado di distinguere tra soldati ostili e dodicenni che giocano con pistole giocattolo? Tra civili in fuga da un luogo di conflitto e insorti in ritirata tattica?
Il problema qui non è che le macchine faranno tali errori e gli umani no. È che la differenza tra errore umano ed errore algoritmico è come la differenza tra spedire una lettera e twittare. La scala, la portata e la velocità dei sistemi robot killer – governati da un algoritmo di targeting, distribuito in un intero continente – potrebbero far sembrare errate identificazioni da parte di singoli umani come un recente attacco di droni statunitensi in Afghanistan.
L’esperto di armi autonome Paul Scharre usa la metafora della pistola in fuga per spiegare la differenza. Una pistola in fuga è una mitragliatrice difettosa che continua a sparare dopo il rilascio del grilletto. L’arma continua a sparare fino all’esaurimento delle munizioni perché, per così dire, l’arma non sa che sta commettendo un errore. Le pistole in fuga sono estremamente pericolose, ma fortunatamente hanno operatori umani che possono interrompere il collegamento delle munizioni o cercare di puntare l’arma in una direzione sicura. I robot killer, per definizione, non hanno tale salvaguardia.
È importante sottolineare che l’IA armata non deve nemmeno essere difettosa per produrre l’effetto della pistola in fuga. Come hanno dimostrato numerosi studi sugli errori algoritmici in tutti i settori, i migliori algoritmi, che funzionano come previsto, possono generare risultati internamente corretti che tuttavia diffondono rapidamente errori terribili tra le popolazioni.
Ad esempio, una rete neurale progettata per l’uso negli ospedali di Pittsburgh ha identificato l asma come un fattore di riduzione del rischio nei casi di polmonite; il software di riconoscimento delle immagini utilizzato da Google ha identificato gli afroamericani come gorilla; e uno strumento di apprendimento automatico utilizzato da Amazon per classificare i candidati di lavoro assegnava sistematicamente punteggi negativi alle donne.
Il problema non è solo che quando i sistemi di intelligenza artificiale sbagliano, sbagliano alla rinfusa. È che quando sbagliano, i loro creatori spesso non sanno perché lo hanno fatto e, quindi, come correggerli. Il problema della scatola nera dell’IA rende quasi impossibile immaginare uno sviluppo moralmente responsabile di sistemi d’arma autonomi.
I problemi di proliferazione
I prossimi due pericoli sono i problemi della proliferazione di fascia bassa e di fascia alta. Cominciamo con la fascia bassa. Le forze armate che stanno sviluppando robot killer, ora procedono partendo dal presupposto che saranno in grado di contenere e controllare l’uso di armi autonome. Ma se la storia della tecnologia delle armi ha insegnato qualcosa al mondo, ha insegnato questo: le armi si diffondono.
Le pressioni del mercato potrebbero portare alla creazione e alla vendita diffusa di ciò che può essere considerato l’equivalente di un’arma autonoma del fucile d’assalto Kalashnikov: robot killer economici, efficaci e quasi impossibili da contenere mentre circolano in tutto il mondo. Le armi autonome “Kalashnikov” potrebbero finire nelle mani di persone al di fuori del controllo del governo, inclusi terroristi internazionali e nazionali.
Tuttavia, la proliferazione di fascia alta è altrettanto negativa. Le nazioni potrebbero competere per sviluppare versioni sempre più devastanti di armi autonome, comprese quelle in grado di montare armi chimiche, biologiche, radiologiche e nucleari. I pericoli morali dell’escalation della letalità delle armi sarebbero amplificati dall’escalation dell’uso delle armi.
È probabile che le armi autonome di fascia alta portino a guerre più frequenti perché diminuiranno due delle forze primarie che storicamente hanno impedito e accorciato le guerre: la preoccupazione per i civili all’estero e la preoccupazione per i propri soldati. È probabile che le armi siano dotate di costosi governatori etici progettati per ridurre al minimo i danni collaterali, usando quello che la Relatrice Speciale delle Nazioni Unite Agnes Callamard ha definito il “mito di un attacco chirurgico” per sedare le proteste morali. Le armi autonome ridurranno sia la necessità che il rischio per i propri soldati, alterando drasticamente l’analisi costi-benefici che le nazioni subiscono mentre lanciano e mantengono le guerre.
È probabile che le guerre asimmetriche, ovvero le guerre condotte sul suolo di nazioni prive di tecnologie concorrenti, diventino più comuni. Pensa all’instabilità globale causata dagli interventi militari sovietici e statunitensi durante la Guerra Fredda, dalla prima guerra per procura al contraccolpo sperimentato oggi in tutto il mondo. Moltiplicalo per ogni paese che attualmente punta a armi autonome di fascia alta.
