L’avanzamento delle tecniche di intelligenza artificiale generativa sta spalancando le porte a possibilità prima inimmaginabili, soprattutto nel campo della creazione di ambienti simulati realistici.
Questi ambienti si rivelano fondamentali per l’addestramento di auto a guida autonoma, consentendo loro di affrontare situazioni impreviste e migliorare la sicurezza stradale.
Tuttavia, i modelli di intelligenza artificiale generativa attualmente in uso presentano limitazioni significative, un problema che i ricercatori del MIT e di NVIDIA hanno cercato di risolvere con lo sviluppo di HART.
HART: un approccio ibrido rivoluzionario
I modelli di diffusione, noti per la loro capacità di generare immagini di alta qualità, si rivelano troppo lenti e richiedono un’elevata potenza di calcolo, rendendoli inadatti a molte applicazioni pratiche. Al contrario, i modelli autoregressivi, che alimentano sistemi come ChatGPT, offrono velocità superiori ma producono immagini di qualità inferiore, spesso con errori evidenti.
Un team di ricercatori del MIT e di NVIDIA ha sviluppato una soluzione innovativa, denominata HART (Hybrid Autoregressive Transformer), che combina i vantaggi di entrambi gli approcci, poiché utilizza un modello autoregressivo per creare rapidamente un’immagine di base e un modello di diffusione più piccolo per affinare i dettagli. Questo metodo ibrido permette di generare immagini di qualità pari o superiore ai modelli di diffusione più avanzati, ma con una velocità nove volte maggiore e un minor consumo di risorse computazionali.
L’innovativo strumento apre prospettive inedite in molteplici ambiti, facilitando l’addestramento di robot per l’esecuzione di compiti complessi nel mondo reale, consentendo ai progettisti di videogiochi di creare scenari dettagliati e realistici, accelerando la generazione di simulazioni realistiche e imprevedibili per l’addestramento di auto a guida autonoma e rendendo possibile l’utilizzo di applicazioni di generazione di immagini avanzate su dispositivi mobili grazie alla sua bassa richiesta di risorse computazionali.
Come ha spiegato Haotian Tang, coautore dello studio, l’idea di HART si ispira alla pittura di un paesaggio: “Se dipingi l’intera tela in una volta sola, il risultato potrebbe non essere ottimale. Ma se crei prima una bozza generale e poi aggiungi i dettagli con pennellate più precise, il quadro finale sarà molto più realistico“.
La ricerca, che sarà presentata all’International Conference on Learning Representations, rappresenta un significativo progresso nel campo dell’IA generativa. HART dimostra che è possibile superare i limiti dei modelli attuali, aprendo la strada a nuove applicazioni in diversi settori.
Modelli di diffusione: alta qualità, bassa velocità
Modelli come Stable Diffusion e DALL-E sono rinomati per la produzione di immagini estremamente dettagliate. Il loro funzionamento si basa su un processo iterativo di “de-noising”: prevedono e rimuovono il rumore casuale dai pixel, ripetendo il processo fino a ottenere un’immagine nitida. Tuttavia, questo processo è lento e richiede elevate risorse computazionali, poiché il modello agisce su tutti i pixel a ogni passaggio, che possono essere numerosi.
I modelli autoregressivi, utilizzati comunemente per la generazione di testo, possono creare immagini prevedendo sequenze di “patch” di pixel. Questo approccio è molto più veloce della diffusione, ma la qualità delle immagini è inferiore, con errori frequenti. Ciò è dovuto alla compressione dei pixel in “token” discreti, che comporta una perdita di informazioni.
Come ha spiegato Tang, coautore dello studio, i token residui di HART: “Apprendono dettagli ad alta frequenza, come i bordi di un oggetto o i capelli, gli occhi o la bocca di una persona. Questi sono i punti in cui i token discreti possono commettere errori”. Poiché il modello di diffusione deve solo perfezionare i dettagli rimanenti, può completare il processo in otto passaggi, anziché nei 30 o più necessari per un modello di diffusione standard.
L’introduzione di HART segna un’evoluzione notevole nel campo dell’intelligenza artificiale generativa, proiettando la tecnologia verso orizzonti inesplorati. La sua architettura ibrida, che fonde l’efficienza dei modelli autoregressivi con la precisione dei modelli di diffusione, permette di sbloccare un ventaglio di applicazioni precedentemente inaccessibili. La robotica, ad esempio, potrà beneficiare di ambienti simulati più realistici e generati rapidamente, accelerando lo sviluppo di robot capaci di interagire in contesti complessi.
L’industria dei videogiochi, a sua volta, vedrà una trasformazione nella creazione di mondi virtuali, con la possibilità di generare scenari dettagliati e immersivi in tempi ridotti. L’addestramento di sistemi di guida autonoma, un settore cruciale per la sicurezza stradale, guadagnerà in efficacia grazie alla sua capacità
di produrre simulazioni di situazioni impreviste con una fedeltà senza precedenti.
Inoltre, l’accessibilità di questa tecnologia su dispositivi mobili, resa possibile dal suo ridotto impatto computazionale, estende le potenzialità dell’IA generativa a un pubblico più ampio, democratizzando la creazione di immagini di alta qualità. HART si configura, quindi, come un catalizzatore per l’innovazione, promettendo di ridefinire i confini dell’IA generativa e di aprire la strada a nuove frontiere tecnologiche.
La soluzione: token residui
Inizialmente, l’incorporazione del modello di diffusione nelle fasi iniziali del processo autoregressivo ha portato a un accumulo di errori, compromettendo la qualità delle immagini generate. Attraverso un’analisi approfondita, i ricercatori hanno compreso che l’applicazione del modello di diffusione doveva essere mirata e strategica. La svolta è arrivata con la decisione di utilizzare il modello di diffusione esclusivamente per la previsione dei “token residui”, ovvero i dettagli omessi dai token discreti generati dal modello autoregressivo. Questa strategia ha permesso di ottenere un notevole miglioramento nella qualità delle immagini.
Il risultato finale è un modello ibrido che combina un trasformatore autoregressivo con 700 milioni di parametri e un modello di diffusione leggero con 37 milioni di parametri. Questa architettura consente di generare immagini di qualità paragonabile a quelle prodotte da un modello di diffusione con 2 miliardi di parametri, ma con una velocità nove volte superiore e un consumo di risorse computazionali inferiore del 31% rispetto ai modelli all’avanguardia.
Un ulteriore vantaggio di HART è la sua compatibilità con la nuova generazione di modelli generativi linguaggio-visione unificati. Grazie all’utilizzo di un modello autoregressivo, lo stesso tipo di modello che alimenta i modelli linguistici di grandi dimensioni (LLM), HART può essere integrato in modo efficiente con questi sistemi. I ricercatori prevedono di espandere le sue capacità, sviluppando modelli di linguaggio-visione basati sulla sua architettura. Inoltre, grazie alla scalabilità e alla generalizzabilità del modello, intendono applicarlo a compiti di generazione video e previsione audio.
La ricerca è stata finanziata, in parte, dal MIT-IBM Watson AI Lab, dal MIT e Amazon Science Hub, dal MIT AI Hardware Program e dalla US National Science Foundation. L’infrastruttura GPU per l’addestramento del modello è stata fornita da NVIDIA.
La ricerca è stata pubblicata su Arxiv.
