Hace poco, un misterioso “caballo feliz” se aupó de repente a lo más alto de la clasificación de Artificial Analysis.
El mundo de la IA se llenó inmediatamente de especulaciones, hasta que Alibaba dio un paso al frente para reivindicarlo.
De forma inesperada, solo unos días después, la familia “Happy” de Alibaba incorporó a un nuevo miembro: HappyOyster.
Ambos proceden del mismo lugar: el grupo de innovación Alibaba Token Hub (ATH), creado este mes de marzo.
Sin embargo, a diferencia del proceso de una sola etapa de “Happy Horse” —“escribir el texto, esperar a que se genere la imagen y recibir el clip final”—, HappyOyster es un producto basado en un modelo de mundo abierto que se pueden crear e interactuar con ellas en tiempo real.
Se basa en una arquitectura multimodal nativa, y cuenta con un modelo generativo de mundo en streaming que admite entradas multimodales y la generación conjunta de audio y vídeo. Durante el proceso de generación, puede recibir continuamente instrucciones del usuario, y los elementos visuales responden en tiempo real y evolucionan de forma continua.
HappyOyster se centra en dos funciones principales: «Wander» y «Direct».
La función Wander es el primer modelo mundial general que admite cualquier estilo y una interacción ilimitada. Basta con introducir texto o imágenes para que genere un escenario mundial explorable sin límites, que permite más de un minuto de movimiento y control de la cámara en tiempo real.
Por su parte, la función «Direct» es un motor de dirección de vídeo basado en inteligencia artificial y en tiempo real que se basa en el modelo del mundo. Es capaz de generar de forma continua hasta 3 minutos de vídeo en tiempo real con una resolución de 720p. Podemos controlar la cámara, programar las acciones de los personajes y modificar el argumento en tiempo real mediante instrucciones de texto.
En cuanto al nombre, hay una idea detrás. Se inspira en la famosa frase de Shakespeare: “El mundo es tu ostra”.”
En estos momentos, HappyOyster ya está disponible en línea y hemos conseguido un código de invitación al instante. A continuación, vamos a probarlo en primera persona.
Enlace a la experiencia: https://www.happyoyster.cn/
Ahora se necesita un código de invitación para acceder.
Prueba práctica de HappyOyster: este modelo de Alibaba World resulta bastante interesante
Probemos primero la función estrella de Wander.
Esta función permite generar mundos a partir de texto o imágenes.
Podemos introducir las indicaciones directamente o definir por separado el “personaje” y la “escena” para tener un control más preciso, así como cambiar entre la perspectiva en primera persona y la de tercera persona.
Por ejemplo, utilizamos el “modo personalizado” e introducimos los datos por separado:
Personaje: “Una modelo rubia con mucho estilo”
Escena: “En las calles de París en los años 80”.”
HappyOyster no genera directamente un vídeo fijo. En su lugar, en poco más de diez segundos, recrea una calle completa de París por la noche, después de la lluvia. El agua del suelo refleja la tenue luz amarilla de las farolas, los coches circulan a toda velocidad por la carretera, las tiendas se alinean a ambos lados y todos los detalles se ajustan a las leyes de la física.
A continuación, podemos utilizar las teclas WASD para controlar el movimiento del personaje, o las teclas de flecha para mover la cámara. El personaje se mueve libremente por este espacio y, al final, se crea un vídeo.
Toda la escena responde en tiempo real, con una fluidez total y sin retrasos.
El sistema también añade automáticamente música de fondo que se adapta al ambiente de la escena, con una sincronización natural entre el sonido y las imágenes.
También hemos subido una imagen de ciclismo en primera persona al estilo anime. A partir de esta imagen estática, HappyOyster ha generado una escena completa con estructura espacial y la lógica de movimiento.
Cuando la perspectiva se desplaza hacia delante, la prolongación de la carretera, la distribución de los campos de flores y la superposición de los paisajes lejanos mantienen su coherencia, sin uniones ni saltos evidentes.
El lenguaje visual al estilo Ghibli y la atmósfera de las flores de cerezo que caen también se mantienen constantes a lo largo de toda la película.
La función «Wander» se adapta a distintos estilos. Incluso nos adentramos directamente en un cuadro de Van Gogh.
Ahora probemos la función Direct. Su principal ventaja es que el contenido se puede modificar en cualquier momento del vídeo en tiempo real.
Le dimos un estilo al estilo Ghibli y HappyOyster creó al instante un mundo animado al estilo de Miyazaki: una niña pequeña con un paraguas rojo, caminando por un camino rural lleno de baches después de la lluvia.
En este momento, introducimos la indicación: “Un gatito adorable al estilo Ghibli corre de repente hacia la niña”. El modelo no vuelve a generar la imagen, sino que genera directamente un gatito corriendo en la escena actual, caminando junto a la niña.
A continuación, añadimos otra instrucción: “La niña se agacha para acariciar al gatito”. La escena vuelve a responder al instante: la niña se agacha y extiende la mano, con un movimiento natural y fluido.
En resumen, el modelo es capaz de ajustar con precisión las escenas y las acciones de los personajes según las indicaciones que le proporcionemos. Las imágenes son fluidas y naturales, y cada cambio encaja a la perfección con el argumento.
Interpretación técnica de HappyOyster: Modelos del mundo frente a «texto a vídeo»
Tras ver la prueba, surge una sensación intuitiva: esto parece diferente de modelos como Sora o Kling. De hecho, es diferente, y la diferencia radica en la lógica subyacente.
Ya se trate de Sora o de Kling, los modelos de «texto a vídeo» son, en esencia, sistemas de una sola ejecución. A partir de un texto o una imagen, el modelo organiza el contenido, el movimiento y el ritmo dentro de un intervalo de tiempo predefinido y, a continuación, ofrece el resultado. El usuario introduce un dato y obtiene un resultado, y el proceso termina ahí. Es un proceso cerrado y único, sin margen para la intervención entre medias.
Este modo es suficiente para crear un vídeo corto con un acabado impecable, pero si quieres intervenir a mitad del proceso y cambiar algo que ya haya ocurrido, sencillamente no es posible.
La idea de un modelo del mundo es completamente diferente. Aprende cómo evolucionará el mundo a continuación, cuál es el estado actual, qué sucederá tras aplicar una acción y qué ocurre a continuación. No tiene un punto final preestablecido. Cuando no hay nuevas entradas, el modelo sigue haciendo evolucionar el mundo basándose en el estado actual; si introducimos nuevas instrucciones a mitad del proceso, vuelve a calcular el futuro basándose en el estado actual. Se puede interrumpir, alterar y reescribir en cualquier momento, un cambio en la interacción dinámica muy similar a la evolución. De la programación basada en la vibración a la programación basada en los deseos.
Por este motivo, entrenar un modelo global resulta mucho más difícil que la conversión de texto a vídeo.
El reto más inmediato es la velocidad. Un modelo del mundo debe responder al instante cuando un usuario da instrucciones. Cualquier retraso perceptible romperá la inmersión. HappyOyster adopta un marco de generación en streaming que comprime vídeo de alta dimensión e información multimodal en un estado latente dinámico y compacto, lo que reduce en gran medida el coste computacional por paso y permite que la generación se desarrolle de forma continua con baja latencia. El texto, las imágenes y las señales de control, como la navegación, se diseñan como variables de condición que pueden introducirse en tiempo real, de modo que el modelo puede responder al instante en cualquier momento sin necesidad de reiniciar el proceso de generación.
Un problema más complicado es cómo mantener la coherencia del mundo a lo largo de largos periodos de evolución. Cuanto más largo es el tiempo de generación, más probable es que la escena se desvíe y las estructuras se degraden. Las reglas físicas y las estructuras espaciales pierden gradualmente sus restricciones, y el mundo va dejando poco a poco de parecerse a sí mismo. Para contrarrestar esta “amnesia”, HappyOyster introduce un mecanismo de reutilización de estados persistentes. Mediante la transferencia continua de los estados históricos de atención, el modelo hereda de forma eficiente la información generada y la actualiza progresivamente, manteniendo una estructura de escena estable y una coherencia dinámica a lo largo de períodos de tiempo más prolongados.
En cuanto a la coordinación audiovisual, a diferencia de lo que ocurre cuando el audio se trata como un elemento añadido en la fase de posproducción, HappyOyster utiliza un marco unificado de generación de audio y vídeo. Las señales visuales y auditivas se generan simultáneamente en el mismo estado del mundo. El audio forma parte de la dinámica del mundo, lo que establece de forma natural una alineación temporal entre los distintos modales.
En la actualidad, existen varias líneas de investigación representativas en el campo de los modelos del mundo. Genie, de Google, se centra en la modelización interactiva del mundo en tiempo real, pero aún presenta limitaciones en cuanto a la representación multimodal unificada y la generación conjunta de audio y vídeo. World Labs, de Fei-Fei Li, sigue una vía de reconstrucción espacial en 3D, haciendo hincapié en la coherencia geométrica más que en la generación dinámica de secuencias largas en el espacio de píxeles.
HappyOyster ha optado por simular un mundo dinámico, interactivo y en tiempo real de secuencia larga en el espacio de píxeles y, además, añade la capacidad de generar contenido audiovisual de forma conjunta. Se trata de un camino que pocos han logrado recorrer hasta ahora, y del que no hay muchas referencias a las que recurrir.
Conclusión de HappyOyster: De la creación de contenidos a la construcción de mundos
La AIGC ha llegado hasta donde está hoy, y las herramientas de generación de contenidos ya se encuentran en una fase bastante madura. Escribir artículos, generar imágenes, crear vídeos… Todas estas necesidades cuentan ya con buenas soluciones. Pero este campo se está acercando silenciosamente a un nuevo punto de inflexión: pasar de “generar contenidos” a “construir mundos”.”
The emergence of HappyOyster lets us see the outline of this direction. It gives everyone a “custom digital world” that can be entered anytime, modified anytime, and responds in real time. We can wander inside it, direct inside it, and share it with others, letting them continue the story within the world we built.
In terms of application scenarios, its boundaries go far beyond entertainment within the screen. Cultural tourism exhibitions, interactive short dramas, film concept validation, brand marketing, live collaborative creation… any scenario that requires real-time perception, generation, and feedback loops naturally fits it.
Looking further ahead, once combined with cameras, sensors, spatial devices, and other hardware, what HappyOyster carries is a generative environmental system continuously driven by real-world signals.
But honestly speaking, world models are still at an early stage overall. Long-term physical consistency, causal reasoning in complex scenes, and deep understanding of real-world rules are all unresolved hard problems. HappyOyster is one of the explorations closest to a “usable product” form in this direction, but exploration means the boundaries are not yet defined.
This is both a limitation, and also the reason imagination still exists.
