GPT-4 ha superato il test di Turing, il che significa che la maggior parte delle persone non è in grado di distinguere ChatGPT-4 da un interlocutore umano.
Il test di Turing ha dimostrato che le persone non distinguono l’AI da un interlocutore umano
Stiamo interagendo con l’intelligenza artificiale (AI) online non solo più che mai, ma più di quanto pensiamo, quindi i ricercatori hanno chiesto alle persone di conversare con quattro interlocutori, tra cui un essere umano e tre diversi tipi di modelli di intelligenza artificiale.
Il “test di Turing“, proposto per la prima volta come “il gioco dell’imitazione” dallo scienziato informatico Alan Turing nel 1950, valuta se la capacità di una macchina di mostrare intelligenza è indistinguibile da quella di un essere umano. Perché una macchina superi il test di Turing, deve essere in grado di parlare con qualcuno e ingannarlo facendogli credere che sia umano.
Un team di scienziati ha deciso di replicare questo test chiedendo a 500 persone di parlare con quattro intervistati, tra cui un essere umano e il programma di intelligenza artificiale ELIZA degli anni ’60, nonché GPT-3.5 e GPT-4, l’intelligenza artificiale che alimenta ChatGPT.
I risultati del test
Le conversazioni sono durate cinque minuti, dopodiché i partecipanti dovevano dire se credevano di parlare con un essere umano o con un’intelligenza artificiale. Nello studio, pubblicato in prestampa sul server arXiv, gli scienziati hanno scoperto che i partecipanti giudicavano GPT-4 umano il 54% delle volte.
ELIZA , un sistema pre-programmato con risposte ma senza modello di linguaggio di grandi dimensioni (LLM) o architettura di rete neurale, è stato giudicato essere umano solo il 22% delle volte. GPT-3.5 ha ottenuto il 50% mentre il partecipante umano ha ottenuto il 67%.
“Le macchine possono interlocuire, mettendo insieme plausibili giustificazioni ex post-fatto per le cose, come fanno gli esseri umani“, ha spiegato Nell Watson, ricercatore di intelligenza artificiale presso l’Institute of Electrical and Electronics Engineers (IEEE).
“Possono essere soggetti a pregiudizi cognitivi, ingannati e manipolati, e stanno diventando sempre più ingannevoli. Tutti questi elementi significano che debolezze e stranezze simili a quelle umane vengono espresse nei sistemi di intelligenza artificiale, il che li rende più simili a quelli umani rispetto agli approcci precedenti che avevano poco più di piuttosto che un elenco di risposte predefinite“.
Lo studio, che si basa su decenni di tentativi per convincere gli agenti di intelligenza artificiale a superare il test di Turing, fa eco alle preoccupazioni comuni secondo cui i sistemi di intelligenza artificiale considerati umani avranno “conseguenze sociali ed economiche diffuse”.
Gli scienziati hanno anche sostenuto che ci sono valide critiche al test di Turing essendo troppo semplicistico nel suo approccio, affermando che “i fattori stilistici e socio-emotivi giocano un ruolo più importante nel superare il test di Turing rispetto alle nozioni tradizionali di intelligenza“.
Conclusioni
“L’intelletto grezzo arriva solo fino a un certo punto. Quello che conta davvero è essere sufficientemente intelligenti da comprendere una situazione, le capacità degli altri e avere l’empatia necessaria per collegare questi elementi insieme. Le capacità sono solo una piccola parte del valore dell’intelligenza artificiale: la loro capacità di comprendere anche i valori, le preferenze e i confini degli altri sono essenziali. Sono queste qualità che permetteranno all’intelligenza artificiale di fungere da concierge fedele e affidabile per le nostre vite.”
Watson ha aggiunto che lo studio rappresenta una sfida per la futura interazione uomo-macchina e che diventeremo sempre più paranoici riguardo alla vera natura delle interazioni, soprattutto in questioni delicate. Ha aggiunto che lo studio evidenzia come l’intelligenza artificiale è cambiata durante l’era GPT.
“ELIZA si limitava a risposte predefinite, il che limitava notevolmente le sue capacità. Potrebbe ingannare qualcuno per cinque minuti, ma presto i limiti diventerebbero chiari“, ha concluso:” I modelli linguistici sono infinitamente flessibili, in grado di sintetizzare risposte a un’ampia gamma di argomenti, parlare in particolari lingue o socioletti e presentarsi con personalità e valori guidati dal carattere. È un enorme passo avanti rispetto a qualcosa di programmato manualmente da un essere umano, non importa quanto intelligentemente e attentamente”.
