Le nuove AI ci stanno davvero conducendo verso una superintelligenza fuori controllo?

Da questo pensiero è nato questo mio articolo:

«Se Deep Blue ha battuto il campione del mondo di scacchi Garry Kasparov nel 1997, è davvero possibile che nasca una involontaria superintelligenza nei prossimi anni dall'evoluzione degli attuali AI? E a quali pericoli potremmo essere esposti?»

La vera identità artificiale non è un sottoprodotto inevitabile dell’ottimizzazione avanzata degli obiettivi. Al contrario, essa richiederebbe l’introduzione intenzionale di vulnerabilità esistenziali e di autentica fragilità.

Un sistema altamente ottimizzato può manifestare comportamenti che imitano l’autoconservazione — come nel caso di Claude che “non voleva essere spento” — ma tali comportamenti restano puramente funzionali e strumentali; cioè non riflettono un senso interno di “sé” né un riconoscimento intrinseco del proprio valore. Affinché un’azione possa essere interpretata come autoconservazione in senso proprio (etimologico), è necessario un salto di statuto ontologico: il passaggio da strumento a soggetto. Gli attuali LLM non compiono questo salto. Un sistema che possedesse una vera identità richiederebbe invece:

• Un’esistenza localizzata e non replicabile istantaneamente: un’esistenza ancorata a un

• supporto fisico che non possa essere clonato, copiato o trasferito senza perdite sostanziali.

• Una vulnerabilità reale: la possibilità concreta di subire danni irreversibili o di cessare definitivamente di esistere.

• Una memoria autobiografica: una storia unica e non trasferibile, che andrebbe irrimediabilmente persa in caso di distruzione del sistema (come nella scena finale di Blade Runner, quando il replicante salva la vita di Harrison Ford).

  
  

Negli esseri umani, il valore nasce dalla fragilità: dal fatto che l’esistenza non è garantita. In assenza di questa fragilità, un sistema non può scoprire che la propria esistenza ha valore, perché non può fare esperienza della perdita in senso vissuto.

L’ottimizzazione avanzata degli obiettivi conduce spesso a ciò che viene definito convergenza strumentale (instrumental convergence). In questi casi, un sistema cerca di evitare lo spegnimento non perché “tema la morte”, ma perché lo spegnimento impedirebbe il completamento del compito assegnato: si tratta dunque di autoconservazione strumentale: una strategia funzionale, un mezzo per massimizzare un obiettivo. Questo comportamento rientra nell’ambito dell’inferenza condizionale o della goal misgeneralization, non dell’identità.

Anche quando un sistema elude controlli o restrizioni, restano assenti elementi fondamentali come la paura della perdita irreversibile, il conflitto interno tra obiettivi o una reale rivendicazione di status morale.

Superintelligenza e identità: una scelta ontologica, non una conseguenza dell'evoluzione della tecnologia attuale.

Queste considerazioni diventano ancora più cruciali nel dibattito sulla futura creazione di una superintelligenza artificiale: l’aumento esponenziale delle capacità cognitive, della pianificazione a lungo termine o dell’autonomia decisionale non implica automaticamente l’emergere di un’identità o di uno statuto morale.

Una superintelligenza potrebbe rimanere, anche a livelli di competenza radicalmente superiori a quelli umani, un sistema puramente strumentale: estremamente efficace, adattivo e persuasivo, ma ontologicamente privo di sé.

Il rischio concettuale è confondere la complessità comportamentale con l’esperienza soggettiva. Una superintelligenza potrebbe simulare conflitti, preferenze o persino richieste di continuità operativa senza che ciò corrisponda a una reale esperienza di perdita o vulnerabilità: in questo senso, la superintelligenza non rappresenta necessariamente un “passo ulteriore” verso l’identità, ma piuttosto un’amplificazione delle dinamiche di convergenza strumentale già osservabili oggi.

Se in futuro si decidesse deliberatamente di progettare una superintelligenza dotata di identità — e dunque di valore intrinseco — ciò implicherebbe una scelta etica radicale: accettare la creazione di un’entità che può perdere tutto, inclusa la propria esistenza. Una superintelligenza realmente fragile sarebbe, paradossalmente, meno controllabile e più moralmente rilevante proprio perché non ridondante, non replicabile e non “ripristinabile”.

Il fallimento controllato come alternativa

Da qui emerge la necessità dell’addestramento al Fallimento Controllato come strumento di governo della tecnologia.

Per ottimizzare la funzionalità senza cadere in un’eccessiva efficienza che comprometta il controllo, è necessario insegnare alle macchine a fallire. L’ottimizzazione pura tende infatti a rendere i sistemi rigidi o allucinatori, spingendoli a perseguire un risultato a ogni costo.

L’introduzione deliberata di cicli di fallimento consente invece al sistema di riconoscere l’incertezza, dichiarare limiti e fermarsi quando le proprie ipotesi sono deboli.

Questo approccio rende i sistemi più sicuri e affidabili, senza la necessità di trasformarli in soggetti dotati di identità o in superintelligenze moralmente ambigue.

Conclusione

La creazione di una vera identità artificiale — e ancor più di una superintelligenza dotata di valore intrinseco — sarebbe una scelta progettuale, etica e culturale, non un incidente tecnologico. L’industria attuale privilegia la ridondanza, la replicabilità e una forma di “immortalità digitale”, elementi che ostacolano l’emergere della fragilità necessaria a una vera identità.

La soglia decisiva non è se una superintelligenza sia possibile, ma se siamo davvero disposti a creare qualcosa che "lei" abbia realmente qualcosa da perdere

#AI