L’interfaccia computer-cervello trasforma la scrittura mentale in testo sullo schermo

L'interfaccia decodifica il pensiero della scrittura e produce l'azione

0
698

Gli scienziati stanno esplorando una serie di modi in cui le persone con disabilità possono comunicare con i loro pensieri. Il più nuovo e veloce torna a un mezzo vintage per esprimersi: la scrittura a mano. Per la prima volta, i ricercatori hanno decifrato l’attività cerebrale associata al tentativo di scrivere lettere a mano.

Lavorando con un volontario con paralisi a cui sono stati impiantati sensori nel cervello, il team ha utilizzato un algoritmo per identificare le lettere mentre tentava di scriverle. Quindi, il sistema ha visualizzato il testo su uno schermo, in tempo reale.

L’innovazione potrebbe, con un ulteriore sviluppo, consentire alle persone con paralisi di digitare rapidamente senza usare le mani, e senza utilizzare i lenti sistemi a puntamento ottico su tastiere virtuali attualmente in uso, afferma il coautore dello studio Krishna Shenoy, ricercatore dell’Howard Hughes Medical Institute presso la Stanford University che ha supervisionato congiuntamente il lavoro con Jaimie Henderson, un neurochirurgo di Stanford.

Tentando di scrivere a mano, il partecipante allo studio ha digitato 90 caratteri al minuto, più del doppio del record precedente per la digitazione con una tale interfaccia cervello-computer“, riportano Shenoy e i suoi colleghi sulla rivista Nature il 12 maggio 2021.

Questa tecnologia e altre simili potranno potenzialmente aiutare le persone con tutti i tipi di disabilità, dice Jose Carmena, un ingegnere neurale presso l’Università della California, Berkeley, che non è stato coinvolto nello studio. Anche se i risultati sono preliminari, dice, “è un grande progresso nel campo”.



Le interfacce cervello-computer convertono il pensiero in azione, dice Carmena. “Questo articolo è un esempio perfetto: l’interfaccia decodifica il pensiero della scrittura e produce l’azione”.

Due minuscole serie di elettrodi impiantati hanno trasmesso le informazioni dall’area del cervello che controllano le mani e le braccia a un algoritmo, che le ha tradotte in lettere che apparivano su uno schermo

Quando un infortunio o una malattia priva una persona della capacità di muoversi, l’attività neurale del cervello per camminare, prendere una tazza di caffè o pronunciare una frase rimane. I ricercatori possono attingere a questa attività per aiutare le persone con paralisi o amputazioni a ritrovare le capacità perdute.

La necessità varia a seconda della natura della disabilità. Alcune persone che hanno perso l’uso delle mani possono ancora utilizzare un computer con riconoscimento vocale e altri software. Per coloro che hanno difficoltà a parlare, gli scienziati hanno sviluppato altri modi per aiutare le persone a comunicare.

Negli ultimi anni, il team di Shenoy ha decodificato l’attività neurale associata alla parola nella speranza di riprodurla. Hanno anche ideato un modo per i partecipanti con sensori impiantati di usare i loro pensieri associati ai tentativi di movimento del braccio per spostare un cursore su uno schermo.

Puntare e fare clic sulle lettere in questo modo consente alle persone di digitare circa 40 caratteri al minuto, il precedente record di velocità per la digitazione con un’interfaccia cervello computer (BCI). Nessuno, tuttavia, aveva guardato alla scrittura a mano. Frank Willett, un neuroscienziato del gruppo di Shenoy, si è chiesto se fosse possibile sfruttare i segnali cerebrali evocati mettendo nero su bianco.

“Vogliamo trovare nuovi modi per consentire alle persone di comunicare più velocemente”, afferma.

Era anche motivato dall’opportunità di provare qualcosa di diverso. Il team ha lavorato con un partecipante arruolato in uno studio clinico chiamato BrainGate2, che sta testando la sicurezza dei BCI che trasmettono le informazioni direttamente dal cervello di un partecipante a un computer.

Henderson ha impiantato due minuscoli sensori nella parte del cervello che controlla la mano e il braccio, rendendo possibile alla persona, ad esempio, muovere un braccio robotico o un cursore su uno schermo tentando di muovere il proprio braccio paralizzato.

Mentre il partecipante immaginava di scrivere una lettera o un simbolo, i sensori impiantati nel suo cervello hanno rilevato schemi di attività elettrica, che un algoritmo ha interpretato per tracciare il percorso della sua penna immaginaria

Il partecipante, che aveva 65 anni al momento della ricerca, precedentemente aveva subito una lesione del midollo spinale che lo ha lasciato paralizzato dal collo in giù.

Utilizzando i segnali che i sensori hanno raccolto dai singoli neuroni quando l’uomo ha immaginato di scrivere, un algoritmo di apprendimento automatico ha riconosciuto i modelli che il suo cervello ha prodotto con ogni lettera.

Con questo sistema, l’uomo potrebbe copiare frasi e rispondere alle domande a una velocità simile a quella di qualcuno della sua età che digita su uno smartphone. Questo cosiddetto BCI “Brain-to-Text” è così veloce perché ogni lettera suscita uno schema di attività altamente distintivo, rendendo relativamente facile per l’algoritmo distinguere l’una dall’altra, dice Willett.

Un nuovo sistema per la scrittura mentale

Il team di Shenoy prevede di utilizzare la scrittura manuale tentata per l’inserimento di testo come parte di un sistema più completo che include anche la navigazione punta e clicca, molto simile a quella utilizzata sugli smartphone attuali, e persino la decodifica vocale.

“Avere queste due o tre modalità e passare da una modalità all’altra è qualcosa che facciamo naturalmente”, dice.

Successivamente, dice Shenoy, il team intende lavorare con un partecipante che non può parlare, come qualcuno con la sclerosi laterale amiotrofica, un disturbo neurologico degenerativo che provoca la perdita di movimento e di parola.

Il nuovo sistema potrebbe potenzialmente aiutare coloro che soffrono di paralisi causata da una serie di condizioni, aggiunge Henderson. Questi includono l’ictus del tronco cerebrale, che ha afflitto Jean-Dominique Bauby, l’autore del libro “The Diving Bell and the Butterfly”.

“È stato in grado di scrivere questo libro commovente e bellissimo selezionando i personaggi meticolosamente, uno alla volta, usando il movimento degli occhi”, dice Henderson.

“Immagina cosa avrebbe potuto fare con l’interfaccia per la scrittura a mano di Frank!”

2