L'intelligenza artificiale generativa insegna o pensa al posto nostro? Genitori, insegnanti e matusa digitali: come possono accompagnare i giovani?

Mi permetto di dare, in allegato, qualche informazione in più sul prezioso libro di Roberto Re che ringrazio.

Oliverio

Incremento l’orizzonte dell’analisi di Roberto Re, con un mio testo della scorsa estate

Nel 2013 usciva nei cinema “Her” (Lei) di Spike Jinze. Il film si svolge in una Los Angeles futuristica, dove Theodore Twombly, interpretato da Joaquin Phoenix, vive una vita solitaria dopo la fine del suo matrimonio. Colpito da una pubblicità, acquista un nuovo sistema operativo, “OS 1”, basato su un intelligenza artificiale, che si plasma ad hoc, adattandosi alle esigenze dell’utente ed in grado anche di evolversi. Durante l’installazione il sistema sceglie per lui una voce femminile e, una volta avviato, si dà autonomamente il nome di “Samantha”. Theodore rimane affascinato e, poco alla volta, si coinvolge e si innamora grazie alla capacità empatica della voce di Samantha (interpretata da Scarlett Johansson. Dall’ascolto e dalla relazione con Her\Samantha, nasce un legame sempre più forte, fino a parlare della vita e dell’amore. Samantha condivide a sua volta con lui le nuove esperienze ed emozioni che sperimenta, imparando cose nuove e provando sensazioni sempre più complesse e profonde. ...

Oggi i “compagni artificiali” (AI companions), come Samantha, sono realtà. Ad esempio, Replika, Character, Xiaoice o Soulmate. Oltre 500 milioni di utenti hanno scaricato almeno una volta una di queste app. E decine di milioni le utilizzano regolarmente. Per avere una esperienza “tailor-made”(su misura), molti utenti pagano abbonamenti per accedere a funzionalità avanzate, come personalizzare aspetti fisici, tratti caratteriali e tipologie di relazione (amico, partner, confidente). Esiste anche la possibilità di scrivere una storia personale per il proprio “compagno artificiale”, dandogli “memorie” o di includere dettagli come un vissuto familiare, come i replicanti di Blade Runner, il film del 1982 di Ridley Scott, tratto dal romanzo Il cacciatore di androidi (Do Androids Dream of Electric Sheep?) di Philip K. Dick del 1968.

Il successo degli AI companions non si spiega solo in termini di innovazione tecnica o di fruibilità. La loro efficacia deriva dalla capacità di rispondere a bisogni emotivi profondi: ascolto, comprensione, disponibilità incondizionata. Tuttavia dall’interazione con queste piattaforme possono emergere fenomeni di dipendenza relazionale. Gli utenti riferiscono di percepire questi chatbot come insostituibili, di instaurare con essi abitudini quotidiane e di adattare progressivamente il proprio comportamento alle risposte ricevute. In termini psicologici, si tratta di un attaccamento che soddisfa bisogni di validazione, sicurezza e riconoscimento, ma che si fonda su un legame unidirezionale e algoritmico.

Molti ricercatori stanno studiando se l’uso di compagni di intelligenza artificiale sia positivo o negativo per la salute mentale. Come per la ricerca sugli effetti dell'uso di Internet o dei social media, una linea di pensiero emergente è che un AI companion può essere utile o dannoso, e che questo potrebbe dipendere dalla persona che utilizza lo strumento e da come lo usa, nonché dalle caratteristiche del software stesso.

Alienazione, idealizzazione e disallineamento con il reale. Queste sono solo alcune delle preoccupazioni centrali emerse in uno studio del febbraio 2025 di eSafety, l’ente indipendente australiano che si occupa di sicurezza online.

Per affrontare in modo efficace le criticità emerse nell’utilizzo di AI companions, eSafety propone un approccio multi livello che intreccia aspetti tecnici, giuridici e culturali.

Sul piano tecnico, si auspica l’implementazione di meccanismi di sorveglianza automatica integrata, capaci di rilevare segnali di rischio psichico, come schemi linguistici indicativi di disagio emotivo, tendenze autolesive o stati dissociativi, e di interrompere in tempo reale conversazioni potenzialmente dannose, ma anche di coinvolgere personale di supporto qualificato.

Sul piano giuridico, viene ribadita la necessità di normative che attribuiscano responsabilità oggettiva ai produttori per gli effetti prevedibili delle interazioni con l’IA. In quest’ottica, i fornitori di AI companions non dovrebbero potersi sottrarre a obblighi di valutazione del rischio, trasparenza, e mitigazione proattiva.

Infine, sul piano culturale, eSafety richiama l’importanza di una alfabetizzazione emotiva e digitale diffusa. Comprendere i limiti ontologici e morali delle entità artificiali significa riconoscere che, per quanto sofisticati, gli AI companions non possiedono coscienza, empatia autentica né intenzionalità morale. Promuovere questa consapevolezza è fondamentale per contrastare l’antropomorfizzazione ingenua o regressiva dei sistemi conversazionali e per incentivare un uso critico e informato della tecnologia. In assenza di tale competenza, il rischio è che l’IA venga non solo idealizzata, ma anche investita di aspettative relazionali che essa non può, per sua natura, soddisfare.

In questo scenario, la sfida centrale è domandarsi su quale impatto siamo disposti a tollerare, a che prezzo sociale e con quali garanzie regolative. In quanto l’assenza di una efficace governance etica e normativa permette la diffusione illusorie “esperienze” relazionali, realizzata non per aiutare l’utente ma per monetizzarne il suo coinvolgimento affettivo, aumentandone l’isolamento e rafforzando la dipendenza da una simulazione relazionale progettata per essere irresistibile, anche se non tutte le volte sana.

SAS

Grazie per questo contributo, che amplia l'orizzonte in modo preciso e necessario.

"Her" resta una delle metafore più lucide di cui disponiamo: Jonze ha anticipato con la narrativa ciò che la tecnologia ha poi realizzato con la scala. Quello che nel 2013 era fantascienza emotiva, oggi è un mercato da centinaia di milioni di utenti, con modelli di business costruiti esplicitamente sulla monetizzazione del coinvolgimento affettivo.

Il punto che trovo più rilevante, e più scomodo, è quello che sollevi alla fine: non si tratta di una distorsione del prodotto, ma spesso della sua logica costitutiva. Un AI companion progettato per essere irresistibile non è un sistema che ha fallito il suo scopo etico, è un sistema che ha raggiunto il suo scopo commerciale. Questo sposta il problema dal piano della sicurezza a quello della governance intenzionale.

Il framework di eSafety è utile proprio perché non si ferma al piano tecnico. La proposta di responsabilità oggettiva in capo ai produttori è la direzione giusta: non basta la trasparenza dichiarativa se il design è ottimizzato per l'attaccamento. E l'alfabetizzazione emotiva e digitale, che citi come terzo livello, è forse la sfida più lunga, perché richiede tempo e infrastruttura culturale che i cicli di adozione tecnologica non aspettano.

La domanda che poni in chiusura, su quale impatto siamo disposti a tollerare e a quale prezzo sociale, è esattamente quella che dovrebbe stare al centro del dibattito regolatorio europeo. Invece è ancora ai margini.

E a quanto leggo oggi in rete, domani la nuova enciclica "Magnifica Humanitas" dovrebbe esprimersi su questi temi dal punto di vista della Chiesa. Sarà interessante vedere come un magistero millenario si confronta con una tecnologia che simula il legame, monetizza la solitudine e chiede di essere amata. Le domande sono le stesse, le risposte probabilmente molto diverse.