Microsoft Mesh, la realtà mista che surclassa quella virtuale

Ricordate il film “Minority report” con i suoi avveniristici ologrammi che le persone spostavano da un punto all’altro muovendoli con la punta delle dita? Ecco, Mesh, la nuova piattaforma fornita da Microsoft, fa apparire quella tecnologia arcaica.

Questa tecnologia di acquisizione 3D, presentata da Microsoft nel corso dell’evento Ignite, trasmette un’immagine realistica di una persona in una scena virtuale. Nella prima esperienza chiave dell’azienda progettata interamente per la realtà mista, le persone che partecipano alla conferenza dai salotti e dagli uffici domestici di tutto il mondo hanno potuto vivere lo spettacolo come avatar che guardano gli eventi svolgersi in un mondo olografico condiviso.

L’azienda ha presentato alcune delle esperienze rese possibili da Microsoft Mesh, una nuova piattaforma di realtà mista basata su Azure che consente alle persone in luoghi fisici diversi di unirsi a esperienze olografiche collaborative e condivise su molti tipi di dispositivi.

“Questo è stato il sogno della realtà mista, l’idea che abbiamo inseguito fin dall’inizio“, ha affermato Alex Kipman, Technical Fellow di Microsoft. “Puoi davvero sentirti come se fossi nello stesso posto con qualcuno che condivide contenuti o puoi teletrasportarti da diversi dispositivi di realtà mista ed essere presente con le persone anche quando non siete fisicamente insieme“.

Kipman è apparso sul palco virtuale di Ignite come un’oloportazione pienamente realizzata di se stesso, narrando l’esperienza di apertura dello spettacolo in tempo reale come raggi di luce che simulavano il suo corpo fisico.

James Cameron, il regista ed esploratore oceanico, e John Hanke, CEO e fondatore della principale società di realtà aumentata Niantic, Inc., si sono uniti a Kipman da remoto per evidenziare come Microsoft Mesh li aiuta a creare esperienze condivise attraverso il mondo virtuale e fisico.

Si è parlato anche di una nuova collaborazione per aiutare Lune Rouge, una società che intende realizzare un progetto chiamato Hanai World. Quest’ultima sarebbe una piattaforma sociale di realtà mista – che collegherebbe esperienze di intrattenimento dal vivo e digitale in singoli eventi – con tecnologie come Microsoft Mesh sarebbe possibile realizzare questa visione.

Microsoft Mesh consentirà inoltre ai team distribuiti geograficamente di avere riunioni più collaborative, condurre sessioni di progettazione virtuale, assistere gli altri, imparare insieme e ospitare meetup sociali virtuali. Le persone saranno inizialmente in grado di esprimersi come avatar in queste esperienze virtuali condivise e nel tempo utilizzare l’oloporto per proiettarsi come un loro sé più realistico e fotorealistico, ha affermato la società.

La nuova piattaforma è il risultato di anni di ricerca e sviluppo Microsoft in aree che vanno dal rilevamento delle mani e degli occhi e dallo sviluppo di HoloLens alla creazione di ologrammi persistenti e modelli di intelligenza artificiale in grado di creare avatar espressivi.

Basato su Azure, la piattaforma di cloud computing di Microsoft, Microsoft Mesh beneficia anche delle funzionalità di sicurezza e privacy di livello aziendale di Azure, nonché delle sue vaste risorse di calcolo, dati, intelligenza artificiale e servizi di realtà mista.

“Stiamo costruendo sempre più valore nel nostro cloud intelligente, che è Azure“, ha affermato Kipman. “In queste esperienze di collaborazione, il contenuto non è all’interno del mio dispositivo o all’interno della mia applicazione. Il contenuto olografico è nel cloud e ho solo bisogno di lenti speciali che mi permettano di vederlo“.

Con le applicazioni abilitate per Microsoft Mesh, i progettisti o gli ingegneri che lavorano con modelli fisici 3D, dalle biciclette ai mobili di fascia alta, dai motori a reazione ai nuovi stadi sportivi, potrebbero apparire come se stessi in uno spazio virtuale condiviso per collaborare e iterare su modelli olografici, indipendentemente dalla loro posizione fisica.

Architetti e ingegneri potrebbero camminare fisicamente attraverso un modello olografico del pavimento di una fabbrica in costruzione, vedendo come tutti i pezzi dell’attrezzatura si incastrano in tre dimensioni, evitando potenzialmente costosi errori.

Gli studenti di ingegneria o di medicina che studiano i motori delle auto elettriche o l’anatomia umana potrebbero riunirsi come avatar attorno a un modello olografico e rimuovere parti del motore o staccare i muscoli della schiena per vedere cosa c’è sotto. I colleghi potrebbero semplicemente incontrarsi e chattare in uno spazio virtuale condiviso, oppure le aziende potrebbero utilizzare le app abilitate per Microsoft Mesh per offrire riunioni virtuali o corsi di formazione a tutti i dipendenti di tutto il mondo.

La piattaforma Microsoft Mesh offrirà nei prossimi mesi agli sviluppatori una suite completa di strumenti basati sull’intelligenza artificiale per avatar, gestione delle sessioni, rendering spaziale, sincronizzazione tra più utenti e oloportazione per creare soluzioni collaborative in realtà mista, come ha affermato la società.

Sebbene gli utenti avranno le esperienze più ricche nella realtà mista o virtuale, gli standard aperti di Microsoft Mesh daranno agli sviluppatori la libertà di creare soluzioni che funzioneranno su molti dispositivi diversi: HoloLens 2, una gamma di cuffie per realtà virtuale, smartphone, tablet e PC.

A Ignite, Microsoft ha annunciato due app basate sulla piattaforma Microsoft Mesh.

Questi includono un’anteprima dell’app Microsoft Mesh per HoloLens, che consente ai membri del team di collaborare in remoto ed è disponibile per il download. I clienti possono anche richiedere l’accesso a una nuova versione di AltspaceVR abilitato per Mesh, che consentirà alle aziende di tenere riunioni di lavoro in realtà virtuale con funzionalità di sicurezza di livello aziendale tra cui accessi sicuri, gestione delle sessioni e conformità alla privacy.

Nel tempo, la società ha affermato di aspettarsi che i clienti saranno in grado di scegliere da un set crescente di applicazioni abilitate per Microsoft Mesh create da sviluppatori e partner esterni, e anche di beneficiare dell’integrazione pianificata con prodotti Microsoft come Microsoft Teams e Dynamics 365.

“Questo è il motivo per cui siamo stati così appassionati della realtà mista come il prossimo grande mezzo per il calcolo collaborativo“, ha detto Kipman. “È magico quando due persone vedono lo stesso ologramma“.

Microsoft Mesh per esplorare il mondo

A bordo di OceanXplorer, una delle navi di ricerca ed esplorazione in acque profonde più avanzate mai costruite, c’è così tanto spazio per ospitare tutti gli scienziati che chiedono a gran voce di apprendere dai nuovi dati costantemente raccolti da strumenti e telecamere sui suoi veicoli per l’esplorazione delle acque profonde che possono sondare tutto da barriere coralline e piscine salmastre alla vita marina intorno alle profonde bocche idrotermali e minerali intorno ai vulcani sottomarini.

A Ignite, OceanX, un’organizzazione senza scopo di lucro che fonde la scienza all’avanguardia con la narrazione avvincente e le esperienze di prodotto e tecnologia per supportare l’educazione e la consapevolezza degli oceani, ha annunciato una nuova collaborazione con Microsoft per creare un “laboratorio olografico” abilitato per Mesh sulla nave in cui gli scienziati potrebbero riunirsi, di persona o virtualmente da laboratori e uffici in tutto il mondo – per vedere gli ologrammi 3D delle aree che i veicoli sottomarini stanno esplorando.

I ricercatori che cercano di capire perché i capodogli cacciano in determinate aree, ad esempio, potrebbero vedere una rappresentazione olografica di un canyon di acque profonde con dati raccolti da tag posti sulle balene, sovrapposti con informazioni su salinità, temperatura e cambiamenti della chimica dell’oceano e integrati con dati di ecoscandagli che mostrano dove potrebbero essere i calamari e altre prede.

“L’idea è di prendere tutti questi dati scientifici sorprendenti che stiamo raccogliendo e portarli in un contesto olografico e usarli come un modo per guidare le missioni scientifiche in tempo reale“, ha detto Vincent Pieribone, vice presidente di OceanX.

L’obiettivo è consentire a qualsiasi ricercatore con un HoloLens 2 o un altro dispositivo compatibile, utilizzando Microsoft Mesh, di apparire intorno a un tavolo come avatar e indicare una particolare area sul fondo marino olografico su cui potrebbe avere una domanda e conversare in tempo reale con altri scienziati su ciò che stanno vedendo.

Nelle missioni di ricerca di OceanX, ci sono spesso gruppi di persone rannicchiati intorno a feed video, che pongono domande e hanno conversazioni secondarie con i loro colleghi. I ricercatori che non sono sulla barca, anche se stanno guardando lo stesso filmato su uno schermo nel loro ufficio, non sempre beneficiano di queste interazioni.

“C’è una componente sociale in questo che è essenziale“, ha detto. “Vogliamo portare tutti nella stessa ‘stanza’ in modo che possano rimbalzare gli uni sugli altri e avere quella connessione umana“.

Per espandere un tipo di esplorazione completamente diverso, Niantic ha dimostrato a Ignite un’esperienza demo di Pokémon GO proof-of-concept che gira su HoloLens 2. È stata progettata per mostrare la visione di una nuova collaborazione per la realtà aumentata che si baserà su Microsoft e Niantic.

Nella dimostrazione, che non rappresenta un prodotto di consumo, Hanke e uno stuolo di Pokémon nel suo parco preferito sono stati raggiunti da Veronica Saron, product marketing manager per Pokémon GO, per combattere in una sessione di realtà mista condivisa.

La missione di Niantic è creare tecnologie che permettano alle persone di socializzare ed esplorare il mondo insieme, ha detto Hanke, sia che si tratti di bambini che usano Pokémon GO per esplorare i loro quartieri con genitori o amici, o migliaia di persone che si riuniscono nei parchi per i festival.

“Microsoft Mesh offre un modo completamente nuovo di farlo“, ha affermato. “Questa idea di portare i miei amici virtuali con me mentre esco, cammino ed esploro il mondo: adoro questo concetto e sono davvero interessato a vedere cosa possiamo fare con questo“.

La dimostrazione mostra il potenziale dell’esperienza Pokémon GO costruita sulla piattaforma su scala planetaria di Niantic che ha consentito a milioni di persone di vivere esperienze di realtà aumentata nel mondo reale, migliorate con le funzionalità di Microsoft Mesh che consentono alle persone di essere presenti insieme in esperienze condivise nello stesso spazio e tempo e in esecuzione su HoloLens.

“La nostra parte di questo è il lavoro di unire il mondo digitale e quello fisico, collegando i bit e gli atomi in modo che queste esperienze possano essere possibili utilizzando la piattaforma Niantic”, ha detto Hanke. “Ma le connessioni sociali sono davvero al centro di tutto ciò che facciamo e le innovazioni di Microsoft Mesh lo arricchiscono“.

‘Un altro livello di connessione umana’

Lune Rouge, l’iniziativa con sede in Quebec fondata da Laliberté del Cirque du Soleil, sta iniziando a esplorare come Microsoft Mesh potrebbe consentire alle persone di partecipare virtualmente a concerti, spettacoli teatrali, eventi con DJ o persino feste di famiglia da luoghi remoti.

Il progetto Hanai World, ispirato alla parola hawaiana che, tradotta in modo approssimativo, significa scegliere qualcuno come famiglia, mira a creare nuove connessioni tra le esperienze di intrattenimento digitale e fisico.

L’obiettivo è creare rappresentazioni digitali di luoghi di intrattenimento in tutto il mondo e catturare spettacoli dal vivo con una fedeltà 3D sufficiente per consentire alle persone di vivere lo stesso evento dal vivo o dal proprio soggiorno in realtà mista o virtuale. La piattaforma curerà un mix di Lune Rouge e contenuti generati dagli utenti su un’ampia varietà di media e generi.

“Sarebbe un bel complemento all’intrattenimento dal vivo“, ha detto Alexandre Miasnikof, direttore esecutivo per la produzione di Lune Rouge. “Apporta un altro livello di connessione umana e porta intrattenimento a persone che normalmente non sarebbero in grado di partecipare a un evento, a causa della geografia o dell’accesso“.

Due amici che vivono in parti opposte della propria nazione o del mondo potrebbero partecipare allo stesso concerto in forma di avatar e vivere lo spettacolo insieme, o forse alla fine un’oloimmagine della nonna di qualcuno che vive in un altro paese potrebbe interagire con i membri della famiglia in tempo reale durante una riunione.

“Quello che abbiamo oggi è la promessa, e quanto presto potremo realizzare quella promessa, non lo sappiamo“, ha detto Miasnikof. “Ma pensiamo di avere una buona base con Microsoft Mesh e costruiremo da lì“.

Questo è precisamente l’obiettivo, ha affermato Kipman: vedere quali tipi di soluzioni che in precedenza avrebbero potuto essere respinte come impossibili o troppo dispendiose in termini di tempo per stare in piedi, ora possono essere costruite molto più facilmente con la piattaforma Microsoft Mesh.

“Quando si pensa a ciò che effettivamente serve per inaugurare un nuovo mezzo di elaborazione, è necessario effettuare investimenti profondi in tutto l’ecosistema, che è davvero ciò che ha fatto Microsoft“, ha detto.

“Ora invitiamo le persone a creare valore in più e trarre vantaggio dagli anni di ricerca e sviluppo davvero intensi che abbiamo fatto per offrire loro queste funzionalità in modo chiavi in ​​mano“.

Sembrava tutto come una riunione di Microsoft Teams ambientata nel futuro.

Mesh è una piattaforma collaborativa che consente a chiunque di condividere esperienze virtuali su una varietà di dispositivi. 

Inizialmente, Mesh presenterà le persone come avatar virtuali presi dal social network AltspaceVR che Microsoft ha acquisito nel 2017. Mesh alla fine supporterà ciò che Microsoft chiama “oloportazione“, consentendo alle persone di apparire come se stesse in uno spazio virtuale.

Mesh non è solo un’app per tenere riunioni virtuali; è un’intera piattaforma costruita su Azure a cui Microsoft spera che gli sviluppatori possano attingere. Microsoft spera che architetti, ingegneri e designer vedranno tutti la promessa di Mesh, in particolare durante una pandemia quando è difficile lavorare con modelli fisici 3D senza trovarsi tutti nella stessa stanza.

Microsoft sta inoltre rendendo Mesh disponibile su una varietà di dispositivi, tra cui HoloLens 2, la maggior parte degli auricolari per realtà virtuale, tablet, smartphone e PC. Un’anteprima dell’app Microsoft Mesh per HoloLens 2 è già disponibile, insieme a una versione di anteprima di AltspaceVR abilitata per Mesh. Microsoft sta pianificando di integrare Mesh in Teams e Dynamics 365 in futuro.

Microsoft pensa certamente che Mesh sarà la prossima grande novità per la realtà mista. Il CEO Satya Nadella ha paragonato la nuova piattaforma a Xbox Live durante il suo discorso principale a Ignite. “Pensa a cosa ha fatto Xbox Live per i giochi: siamo passati dal single player al multiplayer, creando comunità che hanno aiutato le persone a connettersi e raggiungere risultati insieme“, ha detto Nadella. “Ora immagina se la stessa cosa accadesse con la realtà mista“.