Di recente, un misterioso “cavallo felice” si è improvvisamente catapultato in cima alla classifica di Artificial Analysis.
Il mondo dell'intelligenza artificiale si è subito animato di speculazioni, finché Alibaba non è intervenuta per rivendicarne la paternità.
Inaspettatamente, solo pochi giorni dopo, la famiglia “Happy” di Alibaba ha accolto un nuovo membro: HappyOyster.
Entrambe provengono dalla stessa fonte, il gruppo di innovazione Alibaba Token Hub (ATH) istituito lo scorso marzo.
Tuttavia, a differenza del processo “one-shot” di “Happy Horse” — che prevede “scrivere il prompt, attendere il rendering, ricevere il filmato finale” — HappyOyster è un prodotto basato sul modello open-world che possono essere realizzati e con cui è possibile interagire in tempo reale.
Si basa su un'architettura multimodale nativa, supportata da un modello generativo del mondo in streaming che supporta input multimodali e la generazione congiunta di contenuti audio e video. Durante il processo di generazione, è in grado di ricevere continuamente istruzioni dall'utente, con elementi visivi che rispondono in tempo reale e si evolvono costantemente.
HappyOyster si concentra su due funzionalità principali: Wander e Direct.
La funzione Wander è il primo modello di mondo generico in grado di supportare qualsiasi stile e un'interazione illimitata. Basta inserire testo o immagini e la funzione è in grado di generare una scena di mondo esplorabile senza limiti, supportando oltre un minuto di movimento e controllo della telecamera in tempo reale.
La funzione Direct, invece, è un motore di regia video basato sull'intelligenza artificiale in tempo reale che si avvale di un modello del mondo. È in grado di generare in modo continuo fino a 3 minuti di video in tempo reale a 720p. È possibile controllare la telecamera, programmare i personaggi e modificare la trama in tempo reale tramite istruzioni testuali.
Per quanto riguarda il nome, c’è un significato preciso dietro. Prende spunto dalla famosa frase di Shakespeare: “Il mondo è la tua ostrica”.”
Al momento, HappyOyster è già online e abbiamo ricevuto subito un codice di invito. Ora proviamolo in prima persona.
Link all'esperienza: https://www.happyoyster.cn/
Per accedere è ora necessario un codice di invito.
Prova pratica di HappyOyster: questo modello di Alibaba World è piuttosto interessante
Proviamo innanzitutto la funzionalità di punta di Wander.
Questa funzione consente di generare mondi a partire da testo o immagini.
Possiamo inserire direttamente i prompt oppure definire separatamente “Personaggio” e “Scena” per un controllo più preciso, oltre a passare dalla prospettiva in prima persona a quella in terza persona e viceversa.
Ad esempio, utilizziamo la “modalità personalizzata” e inseriamo separatamente:
Personaggio: “Una modella bionda dall’aspetto elegante”
Ambientazione: “Per le strade di Parigi negli anni ”80”.”
HappyOyster non genera direttamente un video fisso. In poco più di dieci secondi, invece, ricrea una strada di Parigi di notte dopo la pioggia. L’acqua sul terreno riflette la luce fioca dei lampioni gialli, le auto sfrecciano sulla strada, i negozi si susseguono su entrambi i lati e tutti i dettagli seguono le leggi della fisica.
Successivamente, possiamo usare i tasti WASD per controllare i movimenti del personaggio, oppure i tasti freccia per spostare la telecamera. Il personaggio si muove liberamente in questo spazio e, alla fine, viene realizzato un video.
L'intera scena reagisce in tempo reale, in modo fluido e senza alcun ritardo.
Il sistema aggiunge inoltre automaticamente una colonna sonora che si adatta all'atmosfera della scena, con una sincronizzazione naturale tra audio e immagini.
Abbiamo anche caricato un'immagine in stile anime che raffigura un ciclista in prima persona. Partendo da questa immagine statica, HappyOyster ha generato una scena completa con struttura spaziale e la logica dei movimenti.
Quando la prospettiva si sposta in avanti, il tracciato della strada, la disposizione dei campi fioriti e la stratificazione del paesaggio in lontananza rimangono coerenti, senza evidenti giunture o salti.
Anche il linguaggio visivo in stile Ghibli e l’atmosfera creata dai petali di ciliegio che cadono sono presenti in modo coerente per tutta la durata del film.
La funzione Wander si adatta a vari stili. Ci siamo persino ritrovati catapultati in un quadro di Van Gogh.
Ora proviamo la funzione Direct. La sua caratteristica principale è che i contenuti possono essere modificati in tempo reale in qualsiasi punto del video.
Le abbiamo dato un’immagine in stile Ghibli e HappyOyster ha immediatamente creato un mondo animato in stile Miyazaki: una bambina con un ombrello rosso in mano che cammina su una strada di campagna dissestata dopo la pioggia.
A questo punto, inseriamo il prompt: “Un grazioso gattino in stile Ghibli corre improvvisamente verso la ragazza”. Il modello non esegue un nuovo rendering, ma genera direttamente un gattino che corre nella scena attuale, camminando al fianco della ragazza.
Aggiungiamo quindi un’altra istruzione: “La bambina si accovaccia per accarezzare il gattino”. La scena reagisce di nuovo all’istante: la bambina si china e allunga la mano, con un movimento naturale e fluido.
In breve, il modello è in grado di adattare con precisione le scene e le azioni dei personaggi in base alle indicazioni che inseriamo. Le immagini sono fluide e naturali, e ogni cambiamento si inserisce perfettamente nella trama.
Interpretazione tecnica di HappyOyster: Modelli globali vs Text-to-Video
Dopo aver visto il test, si ha una sensazione intuitiva: questo sistema sembra diverso da modelli come Sora o Kling. È effettivamente diverso, e la differenza parte proprio dalla logica sottostante.
Che si tratti di Sora o di Kling, i modelli “da testo a video” sono essenzialmente sistemi “one-shot”. Date determinate condizioni relative al testo o all’immagine, il modello organizza contenuti, movimento e ritmo all’interno di una finestra temporale predefinita, per poi fornire il risultato. L’utente fornisce un input e ottiene un output, e il processo termina lì. Si tratta di un processo chiuso e una tantum, senza spazio per interventi intermedi.
Questa modalità è sufficiente per realizzare un breve video ben rifinito, ma se vuoi intervenire a metà strada e modificare qualcosa che è già successo, semplicemente non è possibile.
L’idea di un modello del mondo è completamente diversa. Esso apprende come il mondo si evolverà in seguito, qual è lo stato attuale, cosa accadrà dopo l’applicazione di un’azione e cosa succederà dopo. Non ha un punto di arrivo prestabilito. Quando non ci sono nuovi input, il modello continua a far evolvere il mondo in base allo stato attuale; se inseriamo nuove istruzioni a metà percorso, ricalcola il futuro in base allo stato attuale. Può essere interrotto, influenzato e riscritto in qualsiasi momento: un cambiamento nell’interazione dinamica molto simile all’evoluzione dalla codifica delle vibrazioni alla codifica dei desideri.
Per questo motivo, addestrare un modello globale è molto più difficile rispetto alla conversione da testo a video.
La sfida più immediata è la velocità. Un modello del mondo deve rispondere istantaneamente quando un utente impartisce istruzioni. Qualsiasi ritardo percepibile comprometterà l’immersione. HappyOyster adotta un framework di generazione in streaming, che comprime video ad alta dimensionalità e informazioni multimodali in uno stato latente dinamico e compatto, riducendo notevolmente il costo computazionale per ogni passo e consentendo alla generazione di procedere in modo continuo con bassa latenza. Testo, immagini e segnali di controllo come la navigazione sono progettati come variabili di condizione che possono essere inserite online, in modo che il modello possa rispondere istantaneamente in qualsiasi momento senza dover reimpostare il processo di generazione.
Un problema più complesso è come mantenere la coerenza del mondo nel corso di lunghi periodi di evoluzione. Più lungo è il tempo di generazione, maggiore è la probabilità che la scena subisca derive e che le strutture si degradino. Le regole fisiche e le strutture spaziali perdono gradualmente i propri vincoli e il mondo smette lentamente di assomigliare a se stesso. Per contrastare questa “amnesia”, HappyOyster introduce un meccanismo di riutilizzo dello stato persistente. Attraverso il trasferimento continuo degli stati di attenzione storici, il modello eredita in modo efficiente le informazioni generate e le aggiorna progressivamente, mantenendo una struttura della scena stabile e una coerenza dinamica su archi temporali più lunghi.
Per quanto riguarda il coordinamento audiovisivo, a differenza di un approccio che considera l’audio come un’aggiunta in fase di post-produzione, HappyOyster utilizza un framework unificato per la generazione di audio e video. I segnali visivi e uditivi vengono generati simultaneamente all’interno dello stesso stato del mondo. L’audio fa parte delle dinamiche del mondo, stabilendo in modo naturale un allineamento temporale tra le diverse modalità.
Attualmente, nel campo dei modelli del mondo esistono diverse linee di ricerca rappresentative. Genie di Google si concentra sulla modellizzazione interattiva in tempo reale del mondo, ma presenta ancora dei limiti nella rappresentazione multimodale unificata e nella generazione congiunta di audio e video. Il World Labs di Fei-Fei Li segue un approccio basato sulla ricostruzione spaziale 3D, ponendo l’accento sulla coerenza geometrica piuttosto che sulla generazione dinamica di sequenze lunghe nello spazio dei pixel.
HappyOyster ha scelto di simulare un mondo dinamico, interattivo e in tempo reale, composto da sequenze lunghe, nello spazio pixel, aggiungendo inoltre la capacità di generare contenuti audio e video in modo integrato. Si tratta di un percorso che pochi sono riusciti a percorrere prima d’ora, per cui non esistono molte soluzioni a cui fare riferimento.
Conclusione di HappyOyster: dalla creazione di contenuti alla costruzione di mondi
L'AIGC è arrivata ai giorni nostri e gli strumenti di generazione di contenuti sono già piuttosto maturi. Scrivere articoli, generare immagini, realizzare video: per tutte queste esigenze esistono ottime soluzioni. Ma questo settore si sta avvicinando silenziosamente a una nuova svolta, passando dalla “generazione di contenuti” alla “creazione di mondi”.”
La nascita di HappyOyster ci permette di intravedere i contorni di questa direzione. Offre a tutti un “mondo digitale personalizzato” in cui è possibile entrare in qualsiasi momento, modificare a piacimento e che risponde in tempo reale. Possiamo esplorarlo, guidarne lo svolgimento e condividerlo con gli altri, consentendo loro di continuare la storia all’interno del mondo che abbiamo creato.
Per quanto riguarda gli scenari di applicazione, i suoi confini vanno ben oltre l’intrattenimento sullo schermo. Mostre di turismo culturale, brevi rappresentazioni teatrali interattive, verifica di concept cinematografici, marketing di marca, creazione collaborativa dal vivo… qualsiasi scenario che richieda percezione in tempo reale, generazione di contenuti e cicli di feedback si adatta naturalmente a questa tecnologia.
Guardando più in là, una volta integrato con telecamere, sensori, dispositivi spaziali e altro hardware, ciò che HappyOyster offre è un sistema ambientale generativo alimentato continuamente da segnali provenienti dal mondo reale.
Ma, ad essere sinceri, i modelli del mondo sono ancora, nel complesso, in una fase iniziale. La coerenza fisica a lungo termine, il ragionamento causale in scenari complessi e la comprensione approfondita delle regole del mondo reale sono tutti problemi difficili ancora irrisolti. HappyOyster è una delle iniziative più vicine a una forma di “prodotto utilizzabile” in questa direzione, ma il fatto stesso che si tratti di un’esplorazione significa che i confini non sono ancora definiti.
Questo è al tempo stesso un limite e anche il motivo per cui l’immaginazione continua a esistere.
