Récemment, un mystérieux “ cheval heureux ” s'est soudainement hissé en tête du classement d'Artificial Analysis.
Le milieu de l'IA a immédiatement été le théâtre de nombreuses spéculations, jusqu'à ce qu'Alibaba se manifeste pour revendiquer cette technologie.
Contre toute attente, quelques jours plus tard à peine, la famille “ Happy ” d’Alibaba s’est agrandie avec l’arrivée d’un nouveau membre : HappyOyster.
Ces deux initiatives proviennent de la même source, à savoir le groupe d'innovation « Alibaba Token Hub » (ATH), créé en mars dernier.
Cependant, contrairement au processus en une seule étape de “ Happy Horse ” (“ rédiger le sujet, attendre le rendu, recevoir le clip final ”), HappyOyster est un produit de type « monde ouvert » qui peuvent être créés et avec lesquels on peut interagir en temps réel.
Il repose sur une architecture multimodale native, qui s'appuie sur un modèle génératif de monde en streaming prenant en charge les entrées multimodales et la génération conjointe d'éléments audio et vidéo. Au cours du processus de génération, il peut recevoir en continu les instructions de l'utilisateur, les éléments visuels réagissant en temps réel et évoluant sans cesse.
HappyOyster s'articule autour de deux fonctionnalités principales : « Wander » et « Direct ».
La fonction Wander est le premier modèle de monde généraliste prenant en charge tous les styles et offrant des possibilités d'interaction illimitées. Il suffit d'entrer du texte ou des images pour qu'elle génère un univers infini à explorer, permettant plus d'une minute de mouvement et de contrôle de la caméra en temps réel.
La fonction « Direct », quant à elle, est un moteur de réalisation vidéo en temps réel basé sur l'IA et s'appuyant sur le modèle du monde. Elle permet de générer en continu jusqu'à 3 minutes de vidéo en temps réel en 720p. Nous pouvons contrôler la caméra, programmer les mouvements des personnages et modifier le scénario en temps réel à l'aide d'instructions textuelles.
Quant au nom, il a été mûrement réfléchi. Il s'inspire d'une célèbre réplique de Shakespeare : “ Le monde est à tes pieds. ”
À l'heure actuelle, HappyOyster est déjà en ligne, et nous avons tout de suite reçu un code d'invitation. Passons maintenant à l'essai pratique.
Lien vers l'expérience : https://www.happyoyster.cn/
L'accès nécessite désormais un code d'invitation.
Test pratique de HappyOyster : ce modèle d'Alibaba World est plutôt intéressant
Essayons d'abord la fonctionnalité phare de Wander.
Cette fonction permet de générer des mondes à partir de texte ou d'images.
Nous pouvons soit saisir directement des consignes, soit définir séparément le “ personnage ” et la “ scène ” pour un contrôle plus précis, et également passer d'une perspective à la première personne à une perspective à la troisième personne.
Par exemple, nous utilisons le “ mode personnalisé ” et saisissons les données séparément :
Personnage : “ Une mannequin blonde et élégante ”
Scène : “ Dans les rues de Paris dans les années 1980. ”
HappyOyster ne génère pas directement une vidéo figée. Au lieu de cela, en un peu plus de dix secondes, il recrée une rue parisienne complète, de nuit, après la pluie. L'eau au sol reflète la lumière jaune tamisée des réverbères, les voitures filent sur la chaussée, les magasins bordent les deux côtés de la rue, et tous les détails respectent les lois de la physique.
Ensuite, on peut utiliser les touches WASD pour contrôler les déplacements du personnage, ou les touches fléchées pour déplacer la caméra. Le personnage se déplace librement dans cet espace, et une vidéo finit par être créée.
L'ensemble de la scène réagit en temps réel, avec une fluidité constante et sans aucun décalage.
Le système ajoute également automatiquement une musique de fond adaptée à l'ambiance de la scène, avec une synchronisation naturelle entre le son et l'image.
Nous avons également mis en ligne une image de cyclisme à la première personne, dans le style anime. À partir de cette image statique, HappyOyster a généré une scène complète avec structure spatiale et la logique de mouvement.
Lorsque la perspective s'avance, le tracé de la route, la disposition des champs de fleurs et la superposition des paysages lointains restent cohérents, sans raccords ni sauts visibles.
Le langage visuel inspiré de Ghibli et l'atmosphère créée par la chute des fleurs de cerisier sont également présents tout au long du film.
La fonction « Wander » s'adapte à différents styles. Nous nous sommes même retrouvés au cœur d'un tableau de Van Gogh.
Essayons maintenant la fonction « Direct ». Son principal atout est de permettre de modifier le contenu à tout moment de la vidéo, en temps réel.
Nous lui avons donné un style à la Ghibli, et HappyOyster a immédiatement créé un univers animé à la Miyazaki : une petite fille tenant un parapluie rouge, marchant sur une route de campagne cahoteuse après la pluie.
À ce stade, nous saisissons la consigne suivante : “ Un adorable chaton dans le style Ghibli se précipite soudain vers la jeune fille. ” Le modèle ne procède pas à un nouveau rendu, mais génère directement un chaton qui court dans la scène actuelle et marche aux côtés de la jeune fille.
Nous ajoutons ensuite une autre instruction : “ La fillette s'accroupit pour caresser le chaton. ” La scène réagit à nouveau instantanément : la fillette se penche et tend la main, dans un mouvement naturel et fluide.
En résumé, le modèle est capable d'adapter avec précision les scènes et les actions des personnages en fonction des consignes que nous lui fournissons. Les images sont fluides et naturelles, et chaque changement s'intègre parfaitement au déroulement de l'histoire.
Interprétation technique de HappyOyster : modèles mondiaux vs conversion de texte en vidéo
Après avoir vu le test, on a une impression intuitive : ce système semble différent de modèles comme Sora ou Kling. Il est en effet différent, et cette différence commence dès la logique sous-jacente.
Qu'il s'agisse de Sora ou de Kling, les modèles de génération vidéo à partir de texte fonctionnent essentiellement selon un principe de « one-shot ». À partir d'un texte ou d'une image, le modèle organise le contenu, le mouvement et le rythme dans un intervalle de temps prédéfini, puis fournit le résultat. L'utilisateur fournit une seule entrée et obtient un seul résultat, et le processus s'arrête là. Il s'agit d'un processus fermé et ponctuel, ne laissant aucune place à une intervention entre les deux étapes.
Ce mode suffit pour créer une courte vidéo soignée, mais si vous souhaitez intervenir en cours de route et modifier un élément qui s'est déjà produit, il n'en est tout simplement pas capable.
Le concept d’un modèle du monde est tout à fait différent. Il apprend comment le monde va évoluer par la suite, quel est son état actuel, ce qui se passera après l’application d’une action, et ce qui se produira ensuite. Il n’a pas de point d’arrivée prédéfini. En l’absence de nouvelle entrée, le modèle continue de faire évoluer le monde en fonction de l’état actuel ; si l’on injecte de nouvelles instructions en cours de route, il recalcule l’avenir en fonction de l’état actuel. Il peut être interrompu, perturbé et réécrit à tout moment, ce qui constitue un changement dans l’interaction dynamique très similaire à l’évolution. du « vibe coding » au « wish coding ».
C'est pour cette raison que l'entraînement d'un modèle mondial s'avère bien plus difficile que la conversion de texte en vidéo.
Le défi le plus immédiat est celui de la vitesse. Un modèle de monde doit réagir instantanément lorsqu’un utilisateur lui donne des instructions. Tout retard perceptible briserait l’immersion. HappyOyster adopte une architecture de génération en continu, qui compresse des vidéos de haute dimension et des informations multimodales en un état latent dynamique et compact, réduisant ainsi considérablement le coût de calcul par étape et permettant à la génération de se dérouler en continu avec une faible latence. Le texte, les images et les signaux de contrôle, tels que la navigation, sont conçus comme des variables de condition pouvant être injectées en ligne ; ainsi, le modèle peut réagir instantanément à tout moment sans avoir à réinitialiser le processus de génération.
Un problème plus délicat consiste à préserver la cohérence du monde sur de longues périodes d’évolution. Plus le temps de génération est long, plus le risque est grand que la scène dérive et que les structures se dégradent. Les règles physiques et les structures spatiales perdent progressivement leurs contraintes, et l’univers cesse peu à peu de ressembler à ce qu’il était. Pour contrer cette “ amnésie ”, HappyOyster introduit un mécanisme de réutilisation des états persistants. Grâce au transfert continu des états d’attention historiques, le modèle hérite efficacement des informations générées et les met à jour progressivement, ce qui permet de maintenir une structure de scène stable et une cohérence dynamique sur des périodes plus longues.
En matière de coordination audiovisuelle, contrairement à une approche où le son est considéré comme un élément ajouté en post-traitement, HappyOyster utilise un cadre de génération audio-vidéo unifié. Les signaux visuels et auditifs sont générés simultanément dans le même état du monde. Le son fait partie intégrante de la dynamique du monde, ce qui établit naturellement un alignement temporel intermodal.
À l'heure actuelle, plusieurs axes de recherche représentatifs se dessinent dans le domaine de la modélisation du monde. Le projet « Genie » de Google se concentre sur la modélisation interactive en temps réel du monde, mais présente encore des limites en matière de représentation multimodale unifiée et de génération conjointe d'audio et de vidéo. Le World Labs de Fei-Fei Li suit une approche de reconstruction spatiale en 3D, mettant l’accent sur la cohérence géométrique plutôt que sur la génération dynamique de longues séquences dans l’espace des pixels.
HappyOyster a choisi de simuler un univers dynamique interactif en temps réel, composé de longues séquences, dans un espace pixelisé, et y ajoute en outre une fonctionnalité de génération conjointe d'audio et de vidéo. Il s'agit là d'une voie que peu ont réussi à emprunter auparavant, et pour laquelle il n'existe que peu de références.
Conclusion de HappyOyster : de la création de contenu à la construction d'univers
L'AIGC en est aujourd'hui à un stade avancé, et les outils de génération de contenu ont déjà atteint un niveau de maturité considérable. Rédiger des articles, générer des images, créer des vidéos : il existe désormais des solutions efficaces pour répondre à tous ces besoins. Mais ce domaine s'apprête discrètement à franchir un nouveau cap, passant de la “ génération de contenu ” à la “ création d'univers ”.”
L'émergence de HappyOyster nous permet d'entrevoir les contours de cette orientation. Cette plateforme offre à chacun un “ univers numérique personnalisé ” dans lequel on peut entrer à tout moment, que l'on peut modifier à tout moment et qui réagit en temps réel. On peut s'y promener, y créer du contenu et le partager avec d'autres, leur permettant ainsi de poursuivre l'histoire au sein de l'univers que nous avons construit.
En termes de cas d'utilisation, son champ d'application dépasse largement le cadre du divertissement sur écran. Expositions de tourisme culturel, mini-séries interactives, validation de concepts cinématographiques, marketing de marque, création collaborative en direct… tout scénario nécessitant une perception en temps réel, une génération de contenu et des boucles de rétroaction s'y prête naturellement.
À plus long terme, une fois associé à des caméras, des capteurs, des dispositifs spatiaux et d’autres équipements, HappyOyster constituera un système environnemental génératif alimenté en permanence par des signaux issus du monde réel.
Mais pour être honnête, les modèles du monde en sont encore globalement à un stade précoce. La cohérence physique à long terme, le raisonnement causal dans des scènes complexes et la compréhension approfondie des règles du monde réel constituent autant de problèmes difficiles qui restent à résoudre. HappyOyster est l’une des initiatives les plus avancées vers la création d’un “ produit utilisable ” dans cette direction, mais le fait même qu’il s’agisse d’une exploration signifie que ses limites ne sont pas encore définies.
C'est à la fois une limite et la raison pour laquelle l'imagination continue d'exister.
