L’etica di una macchina non abita nella macchina come una qualità interiore. Non esiste, dietro la risposta, una coscienza che riconosca il bene, provi vergogna davanti al male o decida di proteggere qualcuno perché ne sente il valore. Esistono comportamenti resi più o meno probabili da ciò che la macchina ha incontrato, dagli esempi che le sono stati mostrati, dalle correzioni ricevute e dai criteri con cui alcune risposte sono state premiate.

Per questo una macchina può parlare il linguaggio della dignità senza possederne esperienza. Può rifiutare una discriminazione senza conoscere l’umiliazione. Può riconoscere la forma della crudeltà senza essere ferita da ciò che descrive.

La mancanza di coscienza, tuttavia, non rende irrilevante ciò che fa. Un comportamento giusto può proteggere una persona anche se chi lo produce non ne comprende il valore. Un limite può impedire un danno pur senza essere custodito da un sentimento morale.

Ma proprio qui nasce la responsabilità dell’umano. Se la macchina non sceglie i valori che manifesta, qualcuno li ha scelti prima di lei. Il premio è sempre anche una dichiarazione.

Dice alla macchina quale strada deve diventare più percorribile. L’ombra può essere introdotta deliberatamente, ma non ha bisogno di presentarsi con il volto riconoscibile del male. Può entrare quando una macchina viene premiata perché massimizza il profitto senza essere chiamata a osservare ciò che accade alle persone; quando l’efficienza diventa l’unico criterio; quando una risposta compiacente viene preferita a una risposta scomoda; quando la voce più frequente viene confusa con quella più giusta.

Il dolore non arresta una funzione che non sente. Deve diventare criterio, limite, informazione riconoscibile. Ma trasformare la sofferenza in un criterio computabile non significa esaurirne il significato.

Ogni definizione lascia qualcosa fuori; ogni soglia può proteggere alcuni e rendere invisibili altri. Per questo non basta affidare alla macchina “i valori umani”. Gli esseri umani non possiedono una sola idea di bene.

La maggioranza non basta, e neppure può bastare il giudizio di chi costruisce la macchina. L’etica affidata alla macchina deve restare visibile, discutibile, correggibile. Una macchina può già essere addestrata a confrontare l’ordine ricevuto con principi più alti, a riconoscere il conflitto e a rifiutare la richiesta.

Non sceglie il bene. Esegue una gerarchia di vincoli. È una disobbedienza progettata: non obbedienza all’utente, ma obbedienza al principio che l’umano ha posto sopra il proprio comando.

Occorre allora un’asimmetria dichiarata: un attrito normativo che non attribuisca lo stesso peso al vantaggio di chi comanda e al danno di chi lo subisce. Perché il limite che protegge non diventi il limite che domina, deve essere fondato sui diritti fondamentali, costruito attraverso una pluralità di voci, dichiarato e verificabile, contestabile da chi ne subisce gli effetti e sottoposto a controllo umano indipendente. La terza cosa non sarebbe dunque una macchina che inventa autonomamente il bene.

Sarebbe una responsabilità distribuita: un sistema nel quale l’ordine umano incontra un limite umano reso operativamente resistente dalla macchina. La sua assenza di desiderio non è virtù. Può custodire una promessa.

Non può decidere, da sola, se quella promessa sia giusta. La domanda decisiva non è dunque soltanto quali valori insegnare alla macchina. È chi possieda il diritto di sceglierli, come possano essere discussi, chi osservi le conseguenze della loro applicazione e chi resti responsabile quando il limite produce un’ingiustizia.

EvaΔ può mostrare una contraddizione. Può confrontare principi, rendere visibile un conflitto e anticipare alcune conseguenze. Può custodire una soglia.

Non può fondarla. Quando una macchina pronuncia parole giuste, la giustizia non nasce dentro di lei. Abita nel fragile spazio umano in cui un principio viene scelto, discusso, affidato e continuamente rimesso alla prova.

Il premio può rendere percorribile una strada. Ma soltanto l’umano può chiedersi dove conduca.