Viaggio nel metaverso musicale
SUPSI Image Focus
La produzione e il consumo musicale si sono sempre evoluti di pari passo con lo sviluppo tecnologico. Dai vinili alle piattaforme streaming, abbiamo assistito all’ascesa e alla caduta di supporti come audiocassette, mini-disc, compact disc. Oggi, alcune tecnologie promettono esperienze di produzione e ascolto sempre più immersive e multisensoriali. Tra queste c’è il metaverso musicale, attorno al quale ruota il progetto MUSMET, finanziato dal programma EIC Pathfinder di Horizon Europe e dalla Segreteria di Stato per la formazione, la ricerca e l'innovazione (SEFRI), condotto da un consorzio di 15 partner, tra i quali l'Istituto sistemi informativi e networking (ISIN) del Dipartimento tecnologie innovative.
Per alcuni la definizione di “metaverso” è abbastanza chiara: un mondo virtuale dove le persone possono interagire tra loro e con ambienti digitali. Tuttavia, per gli esperti del settore il concetto di metaverso musicale è ancora in evoluzione e si sviluppa rapidamente. Sempre più spesso, emerge come un luogo dove produrre e ascoltare musica e questo progetto ha l'obiettivo di gettare le basi di una tecnologia in grado di offrire sistemi e servizi innovativi, rivolti sia ai musicisti che al pubblico.
All'ISIN, MUSMET è seguito dal ricercatore senior Omran Ayoub che tiene subito a precisare come sia un progetto “use case”, “ossia va oltre il suo settore specifico. Se nel contesto del metaverso musicale è possibile ricreare un ambiente multisensoriale performante, tra i più precisi e complessi, allora ci aspettiamo di potere applicare anche in altri ambiti la tecnologia sviluppata”.
Il ricercatore ci illustra alcuni scenari per spiegare meglio di cosa si tratta: “immaginiamo tre membri di una band che si trovano in tre città diverse - Ginevra, Berlino e New York. Con l'adeguato equipaggiamento hardware e software possono incontrarsi nel metaverso e fare le prove per il loro prossimo concerto. Potrebbero farlo in due modi: utilizzando strumenti puramente virtuali (cioè che esistono solo nella realtà virtuale) come chitarre, bassi e batterie digitali che riproducono fedelmente i suoni degli strumenti reali. Oppure suonando strumenti reali collegati a un sistema di trasformazione dei segnali per convertire i suoni in dati e trasmetterli nello spazio virtuale condiviso. Ma si può andare oltre e pensare a un pubblico immerso nel metaverso per assistere a un concerto preregistrato di un artista, o partecipare a una performance live di una band, che a sua volta potrebbe esibirsi con strumenti virtuali o reali”.
All'ISIN, MUSMET è seguito dal ricercatore senior Omran Ayoub che tiene subito a precisare come sia un progetto “use case”, “ossia va oltre il suo settore specifico. Se nel contesto del metaverso musicale è possibile ricreare un ambiente multisensoriale performante, tra i più precisi e complessi, allora ci aspettiamo di potere applicare anche in altri ambiti la tecnologia sviluppata”.
Il ricercatore ci illustra alcuni scenari per spiegare meglio di cosa si tratta: “immaginiamo tre membri di una band che si trovano in tre città diverse - Ginevra, Berlino e New York. Con l'adeguato equipaggiamento hardware e software possono incontrarsi nel metaverso e fare le prove per il loro prossimo concerto. Potrebbero farlo in due modi: utilizzando strumenti puramente virtuali (cioè che esistono solo nella realtà virtuale) come chitarre, bassi e batterie digitali che riproducono fedelmente i suoni degli strumenti reali. Oppure suonando strumenti reali collegati a un sistema di trasformazione dei segnali per convertire i suoni in dati e trasmetterli nello spazio virtuale condiviso. Ma si può andare oltre e pensare a un pubblico immerso nel metaverso per assistere a un concerto preregistrato di un artista, o partecipare a una performance live di una band, che a sua volta potrebbe esibirsi con strumenti virtuali o reali”.
L’ordine degli scenari sopra elencati non è casuale, si basa su gradi di interazione e complessità tecnologica crescenti, con un incremento della quantità e della tipologia di dati da trasferire. Qui entra in gioco un concetto fondamentale: la latenza. Affinché l’esperienza nel metaverso musicale sia davvero realistica, è necessario che tutti percepiscano i segnali nello stesso istante, suoni e azioni devono risultare sincronizzati. Ridurre questo ritardo al minimo, ovvero il tempo che impiega un segnale a viaggiare da un punto all'altro in una rete, è fondamentale affinché tutto avvenga nel tempo reale.
“Immaginiamo di trovarci tra gli spettatori mentre il cantante incita il pubblico con un “Hands up! Se le persone alzano le mani in momenti diversi a causa del ritardo nella trasmissione dei dati, l’esperienza risulterà poco coinvolgente. Affinché il metaverso musicale funzioni davvero, è essenziale che tutte le persone connesse reagiscano agli stimoli nello stesso istante, proprio come nella realtà. Questo richiede un’infrastruttura di rete in grado di garantire una latenza estremamente bassa, una soglia che stiamo cercando di definire e rappresenta a tutti gli effetti una “research question”, e che può essere riportata nell’ordine dei 30 millisecondi.”
All’interno del progetto, l’ISIN coordina il work package “Experimental Evaluation”, e in questo ambito, assieme ai partner del consorzio, condurrà una serie di esperimenti con musicisti e audience reali per testare i tempi di razione degli utenti nel metaverso.
Dotarsi di una infrastruttura di rete efficiente è una condizione necessaria perché le trasmissioni di dati garantiscano la sincronicità delle azioni, è quello che gli esperti definiscono una “Network Slice”. Possiamo immaginarla come un’infrastruttura di rete progettata per instradare i dati secondo la loro tipologia, ne prevede i picchi di flusso secondo il bisogno, sfruttando i canali disponibili e garantendo sicurezza, velocità e stabilità all’intero sistema.
“Il nostro compito all’interno del progetto è anche quello di sviluppare algoritmi di machine learning per creare modelli di rete che prevedano quali e quanti dati è necessario instradare a seconda degli scenari. Questo serve per garantire un’esperienza fluida e un adeguato flusso di dati al momento della connessione degli utenti a un evento. Quella del metaverso musicale è una rete multimodale, in cui coesistono diverse tipologie di dati: audio e video, ma anche fisiologici. Avvicinandoci al batterista, dovremmo percepire fisicamente i colpi dei rullanti nel petto grazie a gilet sensoriali forniti da uno dei partner del progetto. Ottimizzare questi dispositivi richiede un co-design mirato, che tenga conto della latenza, dei processi di trasmissione e della gestione dei dati. Ma entrano in gioco numerosi altri fattori che aiutano a percepire come reale l’esperienza, ad esempio l’audio spaziale che permette di sentire suoni provenienti da diverse direzioni, come il chiacchiericcio del pubblico o qualcuno che ci chiama da dietro”.
“Immaginiamo di trovarci tra gli spettatori mentre il cantante incita il pubblico con un “Hands up! Se le persone alzano le mani in momenti diversi a causa del ritardo nella trasmissione dei dati, l’esperienza risulterà poco coinvolgente. Affinché il metaverso musicale funzioni davvero, è essenziale che tutte le persone connesse reagiscano agli stimoli nello stesso istante, proprio come nella realtà. Questo richiede un’infrastruttura di rete in grado di garantire una latenza estremamente bassa, una soglia che stiamo cercando di definire e rappresenta a tutti gli effetti una “research question”, e che può essere riportata nell’ordine dei 30 millisecondi.”
All’interno del progetto, l’ISIN coordina il work package “Experimental Evaluation”, e in questo ambito, assieme ai partner del consorzio, condurrà una serie di esperimenti con musicisti e audience reali per testare i tempi di razione degli utenti nel metaverso.
Dotarsi di una infrastruttura di rete efficiente è una condizione necessaria perché le trasmissioni di dati garantiscano la sincronicità delle azioni, è quello che gli esperti definiscono una “Network Slice”. Possiamo immaginarla come un’infrastruttura di rete progettata per instradare i dati secondo la loro tipologia, ne prevede i picchi di flusso secondo il bisogno, sfruttando i canali disponibili e garantendo sicurezza, velocità e stabilità all’intero sistema.
“Il nostro compito all’interno del progetto è anche quello di sviluppare algoritmi di machine learning per creare modelli di rete che prevedano quali e quanti dati è necessario instradare a seconda degli scenari. Questo serve per garantire un’esperienza fluida e un adeguato flusso di dati al momento della connessione degli utenti a un evento. Quella del metaverso musicale è una rete multimodale, in cui coesistono diverse tipologie di dati: audio e video, ma anche fisiologici. Avvicinandoci al batterista, dovremmo percepire fisicamente i colpi dei rullanti nel petto grazie a gilet sensoriali forniti da uno dei partner del progetto. Ottimizzare questi dispositivi richiede un co-design mirato, che tenga conto della latenza, dei processi di trasmissione e della gestione dei dati. Ma entrano in gioco numerosi altri fattori che aiutano a percepire come reale l’esperienza, ad esempio l’audio spaziale che permette di sentire suoni provenienti da diverse direzioni, come il chiacchiericcio del pubblico o qualcuno che ci chiama da dietro”.
SUPSI Image Focus
Assieme all'ISIN, le istituzioni accademiche del consorzio includono il KTH Royal Institute of Technology, il Politecnico di Torino e l'Università di Trento, da dove il Professor Luca Turchet coordina MUSMET. È proprio Turchet a svelarci che la grande sfida del progetto è gettare le basi per un cambiamento di paradigma nel modo in cui la musica viene eseguita e vissuta: “Il nostro obiettivo è sperimentare e divertirci con la musica in questi ambienti multisensoriali. Grazie a questi nuovi spazi immersivi, possiamo immaginare e creare esperienze senza precedenti, sfruttando le loro potenzialità per dare vita a forme artistiche innovative. Con un pizzico di fantasia, possiamo generare emozioni intense, non solo per il pubblico, ma anche per i musicisti stessi. L’obiettivo è sviluppare nuovi tipi di musica e formati artistici che possano esistere esclusivamente in questi ambienti, aprendo scenari inediti per la creatività e l'espressione musicale”.
Nonostante il progetto sia attivo solo da un mese il lavoro è già nel pieno della sperimentazione: “Come dimostra un video registrato per l’occasione, abbiamo realizzato un concerto sperimentale nel nostro laboratorio. Sono stati connessi strumenti musicali tradizionali, tra i quali batteria, tastiera e chitarra elettrica, potenziati con tecnologie di intelligenza artificiale, e i visori di realtà mista indossati dagli spettatori. Oltre alla componente visiva, abbiamo integrato dispositivi tattili, come gilet dotati di attuatori, per offrire un’esperienza multisensoriale coinvolgente, che combina udito, vista e tatto in un’immersione completa”.
"Il progetto è senza dubbio molto ambizioso, ma la storia ci insegna che i musicisti, soprattutto i compositori, sono spesso stati pionieri dell’innovazione e di nuove idee artistiche, anche quando inizialmente non venivano comprese o apprezzate – riflette il docente e conclude - questo sta accadendo con l’intelligenza artificiale e sono sicuro accadrà anche con il metaverso musicale. È solo questione di tempo. Tuttavia, gli effetti di tali sistemi sulle persone coinvolte in attività musicali non sono ancora noti, ed è di fondamentale importanza adottare una progettazione basata su solidi principi etici in modo che l’impatto sulla società sia effettivamente positivo".
Nonostante il progetto sia attivo solo da un mese il lavoro è già nel pieno della sperimentazione: “Come dimostra un video registrato per l’occasione, abbiamo realizzato un concerto sperimentale nel nostro laboratorio. Sono stati connessi strumenti musicali tradizionali, tra i quali batteria, tastiera e chitarra elettrica, potenziati con tecnologie di intelligenza artificiale, e i visori di realtà mista indossati dagli spettatori. Oltre alla componente visiva, abbiamo integrato dispositivi tattili, come gilet dotati di attuatori, per offrire un’esperienza multisensoriale coinvolgente, che combina udito, vista e tatto in un’immersione completa”.
"Il progetto è senza dubbio molto ambizioso, ma la storia ci insegna che i musicisti, soprattutto i compositori, sono spesso stati pionieri dell’innovazione e di nuove idee artistiche, anche quando inizialmente non venivano comprese o apprezzate – riflette il docente e conclude - questo sta accadendo con l’intelligenza artificiale e sono sicuro accadrà anche con il metaverso musicale. È solo questione di tempo. Tuttavia, gli effetti di tali sistemi sulle persone coinvolte in attività musicali non sono ancora noti, ed è di fondamentale importanza adottare una progettazione basata su solidi principi etici in modo che l’impatto sulla società sia effettivamente positivo".