Recente Avviso del Comitato Etico della Difesa Francese sull’utilizzo delle armi autonome
a cura di Raffaella Aghemo
Il 29 aprile scorso, il Comité d’éthique de la Defense francese ha emesso un “ Avis sur l’integration de l’autonomie dans les systèmes d’armes létaux”, nel quale si pone l’accento su una doppia svolta, relativa ai sistemi di armi autonome, precisamente descritta come segue: “ una doppia rottura, sia tecnologica che etica.” Si pongono quesiti fondamentali nel campo militare e della difesa, quali:
- Come possiamo mantenere la superiorità operativa dei nostri eserciti senza perdere i nostri valori?
- * Quale posto dovrebbero mantenere gli esseri umani in guerra?
- * Come preservare l’integrità morale dei combattenti?
- * Qual è la responsabilità umana nella condotta della guerra?
Il Comitato ritiene fondamentale sottolineare che una macchina cosiddetta “autonoma” “ non può esserlo senza impostare le proprie regole. Dietro l’autonomia ci sono gli automatismi; dietro agli automatismi ci sono i programmi; dietro i programmi, ci sono uomini, che stabiliscono le regole della macchina, compresi quelli che autorizzano questa macchina a superare queste stesse regole “.
Anche lo stesso concetto di arma letale va meglio chiarita e identificata, per esempio, non comprendendo i sistemi non letali di ausilio alla decisione, i cosiddetti SNLAD, ovvero les systèmes non létaux d’aide à la décision, i quali comportano anch’essi la necessità di una approfondita e dettagliata analisi etica, ma che non afferisce al presente studio, ben direzionato verso i sistemi di armi autonome. Corollario di questa premessa è, pertanto, la distinzione tra sistemi d’arma semplicemente automatizzati, in cui gli automatismi forniscono funzioni di “ basso livello”, non critiche, e sistemi d’arma letali per i quali il processo decisionale di “alto livello” e le funzioni critiche sono automatizzate. È, infatti, nell’autonomia decisionale e nelle funzioni di comando assegnate agli automatismi, che risiedono i fattori di rottura. E proprio in questa distinzione, nei sistemi decisionali di alto livello, che occorre distinguere tra i sistemi SALA e SALIA; cioè tra i sistemi d’arma autonomi letali, SALA, appunto, e sistemi d’arma letali che integrano l’autonomia ma che rimangono sotto il controllo umano, i cosiddetti SALIA.
“I SALA dovrebbero essere considerati come sistemi completamente autonomi, cioè sistemi in grado di definire o modificare l’ambito della loro missione, senza convalida umana e di usare la forza letale senza alcuna forma di controllo o supervisione umana.”
“ Nella robotica, un oggetto “autonomo” è dotato di una cosiddetta autonomia “decisionale”: è in grado di funzionare indipendentemente da un altro agente, umano o meno, compiendo, dopo calcoli, azioni non banali, che mette in atto nel robot, cambiando ambienti (fisici o operativi), il tutto in conformità con le specifiche che soddisfano esigenze e requisiti. Il progettista e l’utilizzatore dell’oggetto hanno così deciso di affidare all’oggetto la realizzazione di determinate funzioni. I calcoli effettuati dall’oggetto riguardano in particolare le funzioni di riconoscimento e valutazione dell’ambiente (percezione in senso lato), le funzioni di decisione di azioni, tenendo conto di questo ambiente valutato, integrando vari vincoli e raggiungendo l’obiettivo prefissato, nonché funzioni di comunicazione tra entità, esseri umani o oggetti.”
I SALIA, nello specifico, sono quei sistemi muniti di programmi, ai quali il comando, dopo aver valutato la situazione e sotto la propria responsabilità, può affidare, in uno spazio-tempo e in condizioni limitati, l’esecuzione di compiti relativi all’autonomia decisionale, in alcune funzioni critiche, quali identificazione, classificazione, intercettazione, ingaggio, senza delegare altro ad automatismi di sorta.
Il Comitato fonda il suo ragionamento sul significato robotico (autonomia significa autonomia nel processo decisionale) e utilizza le seguenti definizioni:
SALA (système d’armes létal autonome): sistema di armi letali programmato per poter modificare le proprie regole operative riguardanti in particolare l’ingaggio di bersagli, al di là di un quadro di lavoro fisso, e in grado di utilizzare questa programmazione per calcolare una decisione in vista di un’azione, senza valutazione della situazione da parte del comando.
SALIA (système d’armes létal intégrant de l’autonomie): sistema di armi letali che integra automatismi e programmi:
- al quale il comando, previa valutazione della situazione e sotto la propria responsabilità, può affidare, in uno spazio-tempo e in condizioni limitati, l’esecuzione di compiti relativi all’autonomia decisionale, in alcune funzioni critiche, quali l’identificazione, la classificazione, intercettazione, coinvolgimento;
- che includono garanzie tecniche o caratteristiche intrinseche che prevengono vizi, deviazioni nonché ogni abbandono al comando di due prerogative essenziali, ovvero la valutazione della situazione e la segnalazione.
I l governo francese ha dichiarato di rinunciare all’impiego dei SALA!
I motivi alla base di questa decisione, quanto mai opportuna e significativa, e che non trova applicazione per sistemi decisionali a basso livello o per sistemi SALIA, sono che il suo impiego comporterebbe:
- spezzare la catena di comando;
- andrebbe contro il principio costituzionale della necessaria libera disposizione delle forze armate;
- non fornirebbe alcuna garanzia in merito al rispetto dei principi del diritto internazionale umanitario;
- sarebbe contrario alla nostra etica militare e ai fondamenti dell’impegno dei soldati francesi: onore, dignità, padronanza della forza, umanità.
Invece, l’utilizzo in tutti gli ambienti di conflitto di sistemi SALIA porterebbe con sé, come scritto nel documento stesso, indubbi vantaggi, denominati “ le 5 P”, ovvero, in francese, performance, pertinence, precision, protection, permanence, equivalenti ad una accelerazione del contesto operativo ma con maggiore protezione delle forze armate e maggiore capacità di agire nel tempo. Il ciclo “OODA” (osservazione / orientamento / decisione / azione) tende ad accelerare nel quadro degli impegni operativi; ciò significa che il tempo che intercorre tra la percezione di una minaccia da parte dei sensori (satelliti, droni, avvistamenti, ecc.) ed il momento in cui questa è neutralizzata dalle forze armate, tende a diminuire sensibilmente. In termini di permanenza, il SALIA può durare in mare (imbarcazione autoprotetta) o in cielo (orbite di droni) o resistere alle condizioni incontrate dai gruppi di combattimento a terra. Sono quindi di immediato interesse per compiti ciclici, pericolosi o sporchi (nel vero senso del termine).
Invero, le criticità che questa decisione comporterebbe riguarderebbero i rischi operativi e di utilizzo, che, pertanto, comporterebbero la opportuna necessità delle “ 5C”, commandement, contrôle des risques, conformité, connaissance, confiance. In caso di incidente che coinvolga una SALIA che abbia provocato danni inaccettabili od apertura indesiderata del fuoco, la ricerca di responsabilità durante le indagini post-incidente può rivelarsi complessa.
La mancanza di informazioni o, al contrario, un flusso di informazioni eccessivamente abbondante, i modelli che gli esseri umani hanno in mente, i vari bias cognitivi (bias di conferma, tunneling dell’attenzione, ecc.) possono portare a una scarsa comprensione del comportamento del sistema, quindi scarsa previsione, che potrebbe generare incidenti, alcuni dei quali potenzialmente gravi.
Secondo il CICR, il Comitato Internazionale della Croce Rossa, il crescente utilizzo dell’apprendimento automatico per adattarsi a questi lavori operativi, comportando bias, mancanza di prevedibilità e spiegabilità, può essere fonte di una perdita di fiducia, nonché il minor coinvolgimento dell’essere umano genererebbe un allontanamento, un’ipovigilanza e una difficoltà a riprendere in mano il ritmo del processo decisionale.
In tutta la sua analisi, il Comitato individua 6 principi guida e formula 25 raccomandazioni riguardante la metodologia, la ricerca, l’occupazione, la progettazione e la formazione.
I sei principi guida chiariscono che l’autonomia dei sistemi, in questo contesto, deve tenere conto della singolarità del settore, che la responsabilità umana qui è imprescindibile e ineliminabile, che l’impiego di SALA ad alto livello, andrebbe contro i principi etici alla base anche della dignità delle forze militari francesi, che sarà comunque necessario continuare ad incentivare la ricerca in questo settore, che anche i sistemi SALIA dovranno contemplare garanzie tecniche ed organizzative.
Principi che sono poi implementati e sviluppati nelle successive raccomandazioni, tutte incentrate anche sulla necessità di salvaguardare la cosiddetta “ catena di comando”, cui si accompagnino i concetti di responsabilità umana,
“ La singolarità dello Stato militare risiede anche nel riferimento diretto del regolamento disciplinare generale ai principi di necessità, proporzionalità, umanità e discriminazione tra combattenti e non combattenti posti dal diritto internazionale umanitario (DIU) e dal diritto internazionale dei conflitti armati, che sono così incorporati nella guida per la condotta dei soldati francesi.”
La Sezione III apre ad un quesito di netta rilevanza: Quali garanzie e quale vigilanza?
- Riaffermare il ruolo centrale degli esseri umani e il principio della responsabilità umana. Essendo una SALIA una macchina, nessuna responsabilità le può essere attribuita.
- Subordinare la progettazione e l’attuazione di SALIA al rispetto delle garanzie di buon impiego: comando, controllo dei rischi, conformità, conoscenza e fiducia (le “5C”): supervisione e sussidiarietà. Mantenere una catena di responsabilità, comando e controllo e ragionare in base a principi etici piuttosto che in base a salti tecnologici, e mantenere un controllo normativo e legale durante tutto il ciclo di vita del sistema, ovvero nella fase di preparazione, in implementazione ma anche nell’uso operativo. Rispettare il controllo umano e una costante ed adeguata preparazione del personale umano. Ruolo nodale è riconosciuto alla fiducia, intesa in termini di “interpretabilità”, “controllabilità” e “garanzia” dei risultati.
Questo documento potrebbe rappresentare un modello da seguire per tutte le prossime disposizioni in materia di utilizzo di sistemi di IA (Intelligenza Artificiale) in campo militare.
Riproduzione Riservata
Originally published at https://www.aresdifesa.it on May 12, 2021.
