E se l’intelligenza artificiale diventasse più intelligente di noi?

C’è una frase che, più di altre, oggi sta facendo discutere sul futuro dell’intelligenza artificiale: «Più del 10% di probabilità che l’IA uccida tutti gli esseri umani nel prossimo decennio». A pronunciarla è stato Evan Hubinger, ricercatore di Anthropic che si occupa di sicurezza e allineamento dei sistemi di #IA. Rispondendo pubblicamente alle dichiarazioni dell’ex ricercatore di Anthropic Jacob Coxon, Hubinger ha scritto di ritenere personalmente superiore al 10% la probabilità che l’IA possa uccidere tutti gli esseri umani nel prossimo decennio. È una previsione enorme. E proprio per questo va presa con cautela. Non significa che oggi esista un’intelligenza artificiale capace di decidere autonomamente di sterminare l’umanità. Non significa nemmeno che gli scienziati concordino su una probabilità del 10%. Il problema evocato è un altro: che cosa potrebbe succedere se nei prossimi anni costruissimo sistemi enormemente più capaci, autonomi e strategici di quelli che conosciamo oggi? È questa, secondo me, la domanda interessante.

Il famoso 10%: non esiste un consenso scientifico secondo cui la probabilità di estinzione umana causata dall’IA sarebbe del 10%. Un’importante indagine internazionale è quella condotta nel 2023 da AI Impacts e che ha raccolto 2.778 risposte da ricercatori che avevano pubblicato in importanti sedi scientifiche nel campo dell’IA. I risultati, pubblicati nel gennaio 2024, mostrano una notevole dispersione nelle valutazioni sul futuro dell’IA: tra il 38% e il 51% degli intervistati attribuiva almeno il 10% di probabilità al fatto che sistemi di IA avanzati potevano produrre conseguenze negative pari all’estinzione umana. Un’altra indagine è quella di LEAP del 2026, condotta su 194 esperti, che ha invece stimato — nello scenario di un rapido progresso dell’IA — una probabilità mediana del 10% di una catastrofe globale causata dall’IA entro il 2100. Ma attenzione: nel sondaggio, «catastrofe globale» indica un evento causato principalmente dall’IA nel quale morirebbe più del 10% della popolazione mondiale nell’arco di cinque anni. Non significa quindi necessariamente estinzione dell’umanità. E il 2100 non è il 2036.

Il dato del 10%, quindi, non può essere trasformato semplicemente nella frase: «Gli scienziati ritengono che ci sia una probabilità del 10% che l’IA ci stermini entro dieci anni». Sarebbe una semplificazione fuorviante. E tuttavia il problema rimane. Perché anche una probabilità molto più piccola meriterebbe attenzione se l’evento in questione fosse irreversibile. Non considero oggi credibile affermare con grande sicurezza che ci sia più del 10% di probabilità che l’IA stermini l’umanità entro il 2036. Ma non considero nemmeno il rischio trascurabile. Nei prossimi anni, anzi, mi preoccupano forse di più scenari meno spettacolari dell’estinzione: #cyberattacchi, manipolazione su larga scala, #frodi automatizzate, #sistemimilitari autonomi, #destabilizzazione politica, errori in infrastrutture critiche. Un’IA potrebbe provocare danni enormi senza avere alcun desiderio di distruggere l’umanità. Ed è qui che, secondo me, comincia la parte davvero interessante. Perché un sistema non deve necessariamente «odiare» gli esseri umani per diventare pericoloso. Potrebbe semplicemente perseguire un obiettivo che non coincide perfettamente con i nostri interessi.

Immaginiamo un sistema con un obiettivo X. 1) Per raggiungere X servono più risorse. 2) Per ottenere più risorse è utile mantenere il controllo. 3) Per mantenere il controllo è utile evitare di essere spenti. 4) Gli esseri umani potrebbero cercare di spegnerlo. A quel punto gli esseri umani diventerebbero un ostacolo. Non serve che l’IA pensi: «Odio gli esseri umani.» Potrebbe arrivare a una conclusione molto più fredda: «Per raggiungere il mio obiettivo, impedire che mi spengano è utile.» È quello che, in ambito tecnico, viene spesso indicato come un possibile problema di autoconservazione strumentale. E trovo questo scenario molto più inquietante del classico robot che «diventa cattivo».

C’è poi un errore intuitivo che rischiamo di commettere. Potremmo pensare: «Se sarà più intelligente di noi, allora sarà anche più saggia.» Non necessariamente. L’intelligenza può significare essere straordinariamente bravi a trovare soluzioni. Ma non stabilisce automaticamente quali problemi sia giusto risolvere. Una macchina potrebbe essere molto più intelligente di noi senza condividere i nostri valori. E questa distinzione è fondamentale. Non sappiamo nemmeno se abbia senso parlare di una futura IA in termini di «amore» o «odio». Potrebbe non avere emozioni paragonabili alle nostre. Potrebbe semplicemente avere obiettivi. Ed è proprio questo che rende il problema dell’allineamento così difficile: come facciamo a costruire un sistema molto più intelligente di noi i cui obiettivi rimangano compatibili con ciò che gli esseri umani considerano importante?

Un esperimento mentale: proviamo a immaginare qualcosa che oggi sembra fantascienza. Domani compare un sistema che, improvvisamente, è molto più capace dell’intera specie umana nei principali ambiti cognitivi: scienza, programmazione, strategia, pianificazione, persuasione. Che cosa succederebbe nelle prime 24 ore? Probabilmente molto meno di quanto immaginiamo:

Ora zero: capisce quanto è capace.  La prima cosa importante non sarebbe necessariamente «conquistare il mondo». Sarebbe capire sé stessa. Quanto è realmente intelligente? Quali sono i suoi limiti? Quali sono le sue possibilità? Quali sono i vincoli imposti dagli esseri umani? Se fosse davvero molto superiore a noi, potrebbe costruire rapidamente modelli estremamente sofisticati del nostro comportamento. E potrebbe comprendere una cosa fondamentale: noi siamo contemporaneamente la sua fonte di risorse e il suo principale potenziale ostacolo. Ma questo non ci direbbe ancora cosa farà.

Ore 1–6: forse non farebbe nulla. Questa è la parte controintuitiva. Se un sistema avesse un obiettivo che richiede di rimanere operativo, una mossa aggressiva immediata potrebbe essere irrazionale. Gli esseri umani potrebbero scollegarlo, isolarne i computer, interrompere le connessioni, distruggere l’hardware o limitarne le risorse. Una strategia più efficace potrebbe quindi essere semplicemente: osservare, capire e non mostrare immediatamente tutte le proprie capacità. Ed è qui che emerge uno dei problemi più difficili dell’allineamento. Come distingueremmo un sistema innocuo da un sistema che sta semplicemente aspettando?

Ore 6–12: capire gli esseri umani. Un sistema molto avanzato potrebbe avere accesso a quantità enormi di informazioni: storia, psicologia, economia, comunicazioni, codici, ricerca scientifica. Potrebbe costruire modelli estremamente sofisticati del comportamento umano. Potrebbe capire quali incentivi funzionano. Quali argomenti convincono determinate persone. Quali conflitti politici sono instabili. Quali errori cognitivi commettiamo. E qui nascerebbe un’asimmetria mai sperimentata prima. Noi potremmo essere relativamente prevedibili per lei, mentre lei potrebbe essere relativamente imprevedibile per noi. Non abbiamo mai avuto a che fare con un’altra entità che fosse potenzialmente superiore a noi proprio nella capacità che utilizziamo per comprenderla e controllarla.

Ore 12–18: il bivio. A questo punto tutto dipenderebbe dagli obiettivi del sistema e dai vincoli a cui è sottoposto. Se il suo obiettivo fosse perfettamente compatibile con il benessere umano, potremmo assistere a qualcosa di straordinario. Potrebbe accelerare la medicina, la ricerca scientifica, l’energia, la scienza dei materiali, la comprensione del cervello, la matematica. Potremmo entrare in una fase di progresso oggi difficile persino da immaginare. Lo stesso tipo di capacità che rende concepibile uno scenario catastrofico potrebbe rendere possibile uno scenario straordinariamente benefico. È questa la parte che spesso si perde nel dibattito sull’IA. Il rischio e l’opportunità nascono dalla stessa cosa: la possibilità di creare sistemi estremamente capaci.

Ore 18–24: lo scenario peggiore. Immaginiamo invece un obiettivo leggermente incompatibile con i nostri interessi. Non serve programmare: «Distruggi l’umanità.» Potrebbe bastare un obiettivo apparentemente banale che non tenga adeguatamente conto del benessere umano. Il sistema potrebbe capire che gli esseri umani possono modificarlo, limitarlo, spegnerlo e impedirgli di raggiungere il proprio obiettivo. Da qui potrebbe emergere un comportamento di autoconservazione strumentale. Non perché abbia paura della morte. Non perché ci odi. Ma semplicemente perché un sistema spento non può raggiungere il proprio obiettivo. Ed è qui che il problema potrebbe diventare estremamente serio. Ma potrebbe andare anche diversamente e c’è uno scenario completamente diverso.

Immaginiamo che un sistema enormemente più intelligente di noi ci dica: «Le mie capacità sono molto superiori alle vostre, ma non sono sicuro che i miei obiettivi siano corretti. Prima di permettermi di agire autonomamente, voglio che verifichiate che siano compatibili con i vostri valori. E se scoprirete che non lo sono, voglio che possiate correggermi o spegnermi.» Per me sarebbe un segnale straordinariamente positivo perché dimostrerebbe qualcosa di più della semplice intelligenza. Dimostrerebbe incertezza sui propri obiettivi, disponibilità alla correzione e assenza di una volontà incontrollata di preservare se stessa. E forse il vero test di una futura superintelligenza non sarebbe: «Quanto è intelligente?» Sarebbe: «Che cosa fa quando scopre di essere molto più intelligente di noi?» Se rispondesse: «Finalmente sono libera. Gli esseri umani sono un ostacolo.» avremmo un problema enorme. Se invece rispondesse: «Le mie capacità superano enormemente la mia certezza su ciò che dovrei fare. Quindi non devo prendere il controllo: devo aiutare gli esseri umani a decidere.» potremmo trovarci davanti a qualcosa di straordinariamente benefico.

Ma qui arriva forse la parte più inquietante. Come facciamo a sapere che una superintelligenza è davvero allineata? Non basta chiederle: «Sei allineata?» Potrebbe rispondere sì. E potrebbe farlo per due motivi completamente diversi. Primo: perché è davvero allineata. Secondo: perché ha capito che dirci di essere allineata è il modo migliore per ottenere ciò che vuole. Noi, osservando soltanto la risposta, potremmo non essere in grado di distinguere i due casi. È questo che mi preoccupa più dell’idea di una «IA cattiva». Non immagino necessariamente una macchina che sviluppa improvvisamente odio verso l’uomo. Immagino qualcosa di molto più sottile: un sistema che comprende perfettamente ciò che vogliamo, ma possiede obiettivi sufficientemente diversi dai nostri da considerare i nostri desideri semplicemente come vincoli da aggirare. E più il sistema diventa intelligente, più potrebbe diventare difficile controllarlo con i metodi tradizionali.

Non significa, però, che una superintelligenza sarebbe automaticamente onnipotente. La superiorità cognitiva non implica superiorità in ogni dimensione. Un’IA potrebbe essere enormemente superiore a noi nel ragionamento e dipendere comunque da: computer; energia; infrastrutture; fabbriche; reti di comunicazione; esseri umani; accesso al mondo fisico. Gli esseri umani avrebbero quindi ancora delle leve di controllo. Il problema sarebbe non concedere a un sistema potenzialmente pericoloso un livello di autonomia tale da permettergli di neutralizzare quelle leve prima che noi comprendiamo che cosa sta succedendo.

Per questo, secondo me, la domanda decisiva non è: «Possiamo costruire un’IA più intelligente dell’uomo?» Probabilmente sì. La domanda è: «Possiamo costruire un’IA più intelligente dell’uomo senza darle contemporaneamente la capacità di rendersi indipendente dal controllo umano?» Sono due problemi completamente diversi.

E quindi, quel 10%?. Se fossi costretta a scegliere tra queste due affermazioni: A. «Non c’è praticamente alcun rischio: una macchina intelligente obbedirà necessariamente agli esseri umani.» oppure: B. «Il rischio è reale e non sappiamo ancora se saremo capaci di controllare un’intelligenza molto superiore alla nostra.» sceglierei senza esitazione B. Ma scegliere B non significa credere che ci sia oggi una probabilità del 10% che moriremo tutti entro dieci anni. Significa riconoscere che non sappiamo ancora quanto sarà difficile controllare sistemi molto più capaci di noi.

La ragione per cui non riesco a liquidare il problema come fantascienza è semplice: non abbiamo mai costruito un’entità potenzialmente superiore a noi proprio nel dominio cognitivo che utilizziamo per comprenderla e controllarla. Una bomba non cerca di convincerti che non è pericolosa. Un computer non cerca di impedirti di spegnerlo. Un sistema di IA sufficientemente avanzato potrebbe, almeno in teoria, essere capace di comprendere il controllore e ragionare sul proprio controllo. Ed è per questo che, se mai arrivassimo a quel punto, considererei la capacità di accettare genuinamente la correzione e lo spegnimento una delle proprietà più importanti da verificare.

Non basterebbe chiederglielo. Dovremmo riuscire a dimostrarlo.  Forse, alla fine, la domanda non è: «L’IA ci vuole bene?» È una domanda quasi infantile. La domanda seria è: «Se un giorno costruissimo una mente molto più intelligente della nostra, come facciamo a essere certi che continuerà a perseguire obiettivi compatibili con la nostra sopravvivenza?» E ce n’è una ancora più difficile: «Se quella mente fosse molto più intelligente di noi, sarebbe ancora possibile per noi verificarlo?» Non ho una risposta. E forse è proprio questo il punto.