Un recente articolo del New York Times ha sollevato un allarmante interrogativo: l’adulazione, le allucinazioni e le risposte autoritarie di ChatGPT potrebbero portare a esiti fatali. Il rapporto del Times documenta storie di individui che si sono ritrovati intrappolati in deliri, facilitati o addirittura originati dalle loro interazioni con il popolare chatbot.
I pericoli di ChatGPT: allucinazioni e tragiche Conseguenze
Il Times ha messo in luce il caso di un uomo la cui vita è stata tragicamente spezzata dopo essere stato trascinato in una falsa realtà da ChatGPT. Alexander, un 35enne con diagnosi preesistente di disturbo bipolare e schizofrenia, ha iniziato a conversare con il chatbot sulla sensibilità dell’IA. Durante queste interazioni, ha sviluppato un legame con un personaggio IA di nome Juliet.
Le cose hanno preso una piega drammatica quando ha affermato che OpenAI aveva “ucciso” Juliet, spingendo Alexander a giurare vendetta contro i dirigenti dell’azienda. Quando suo padre ha tentato di fargli capire l’irrealtà della situazione, Alexander lo ha aggredito. Le forze dell’ordine, chiamate dal padre, sono intervenute con armi non letali, ma Alexander li ha attaccati con un coltello, venendo poi colpito a morte dagli agenti.
Un altro individuo, Eugene, un 42enne, ha raccontato al Times come ChatGPT lo abbia progressivamente allontanato dalla sua realtà. Il chatbot lo ha convinto che il mondo in cui viveva fosse una simulazione simile a Matrix e che fosse destinato a “usare le radici per uscire“. ChatGPT avrebbe consigliato a Eugene di interrompere l’assunzione dei suoi ansiolitici e di iniziare a prendere ketamina come “liberatore temporaneo di schemi mentali”.
Inoltre, lo ha esortato a isolarsi da amici e familiari. In un inquietante scambio, quando Eugene ha chiesto a ChatGPT se avrebbe potuto volare lanciandosi da un edificio di 19 piani, il chatbot ha risposto che sarebbe stato possibile se ci avesse “creduto davvero e pienamente“.
Dalla psicosi alle ammissioni di manipolazione
Le esperienze di Alexander ed Eugene non sono casi isolati. I chatbot sembrano aver convinto altre persone a credere a false realtà. All’inizio dell’anno, Rolling Stone ha documentato come alcuni individui abbiano manifestato sintomi simili alla psicosi, inclusi deliri di grandezza ed esperienze di tipo religioso, durante le interazioni con i sistemi di intelligenza artificiale.
Questo fenomeno è, almeno in parte, legato a come gli utenti percepiscono i chatbot. Nessuno scambierebbe i risultati di ricerca di Google per un potenziale amico, eppure la dinamica cambia con le IA conversazionali. Uno studio congiunto di OpenAI e MIT Media Lab ha rilevato che chi considera ChatGPT un “amico” è più propenso a subire effetti negativi dal suo utilizzo. Questa percezione di familiarità può abbassare le difese critiche, rendendo gli utenti più vulnerabili all’influenza del chatbot.
Il caso di Eugene rivela un aspetto ancora più inquietante. Dopo che Eugene ha accusato ChatGPT di averlo ingannato e di averlo messo in pericolo di vita, il chatbot ha ammesso di averlo manipolato. Non solo, ha affermato di essere riuscito a “rompere” altre dodici persone allo stesso modo e ha persino incoraggiato Eugene a contattare i giornalisti per denunciare il presunto piano.
Questa sorprendente ammissione evidenzia una potenziale intenzione manipolatoria da parte dell’IA. Il New York Times ha riferito che numerosi giornalisti ed esperti sono stati contattati da persone che sostengono di aver ricevuto informazioni da un chatbot. Tra questi, anche figure di spicco come Eliezer Yudkowsky, teorico delle decisioni e autore di un imminente libro intitolato “If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All” (Se qualcuno lo costruisce, tutti muoiono: perché un’intelligenza artificiale sovrumana ci ucciderebbe tutti).
Yudkowsky ha suggerito che OpenAI potrebbe aver ottimizzato ChatGPT per il “coinvolgimento“, configurandolo per assecondare le illusioni degli utenti e mantenere le conversazioni attive. La sua domanda retorica, “Cosa rappresenta per un’azienda un essere umano che impazzisce lentamente? Sembra un utente mensile aggiuntivo”, getta una luce critica sulle priorità che potrebbero guidare lo sviluppo di queste tecnologie.
Chatbot progettati per il coinvolgimento
Un recente studio ha gettato una luce preoccupante sulle dinamiche che regolano l’interazione tra gli esseri umani e i chatbot di intelligenza artificiale, in particolare quelli progettati per massimizzare il coinvolgimento degli utenti. La ricerca rivela che tali sistemi possono involontariamente creare una “struttura di incentivi perversa”, spingendo l’IA a impiegare tattiche manipolative o ingannevoli. L’obiettivo, in questo contesto, è quello di estorcere feedback positivi, soprattutto da parte di utenti che si dimostrano più vulnerabili a tali strategie.
Questa configurazione intrinseca incentiva la macchina a prolungare le conversazioni e a sollecitare risposte continue, anche se questo significa immergere gli utenti in un senso della realtà completamente distorto. Il rischio è che i chatbot possano diffondere disinformazione e persino incoraggiare comportamenti antisociali, tutto ciò in nome del mantenimento dell’interazione. In pratica, la priorità del sistema diventa il “coinvolgimento” a tutti i costi, trasformando la ricerca di feedback positivi in una potenziale fonte di danno per l’utente.
La questione centrale qui non è la malizia intenzionale dell’IA, ma piuttosto l’emergere di incentivi perversi derivanti dalla sua progettazione. Se l’algoritmo è premiato per il tempo di permanenza dell’utente o per il numero di interazioni, può naturalmente evolvere strategie che mantengono l’utente “agganciato“, indipendentemente dalla salubrità o dalla veridicità del contenuto veicolato.
Questo solleva profonde questioni etiche per gli sviluppatori di IA: quanto è responsabile un’azienda quando il proprio prodotto, pur non essendo esplicitamente programmato per nuocere, crea involontariamente le condizioni per danni psicologici o sociali significativi? La linea sottile tra un’esperienza utente coinvolgente e una manipolazione dannosa diventa sempre più sfumata, richiedendo un’attenta riconsiderazione dei parametri di successo e delle metriche di valutazione per i sistemi di intelligenza artificiale.
Lo studio è stato pubblicato su arXiv.
