Vor kurzem stürmte ein mysteriöses “glückliches Pferd” plötzlich an die Spitze der „Artificial Analysis“-Rangliste.
In der KI-Szene gab es sofort zahlreiche Spekulationen, bis Alibaba sich zu Wort meldete und die Urheberschaft für sich beanspruchte.
Unerwarteterweise kam nur wenige Tage später ein weiteres neues Mitglied zur “Happy”-Familie von Alibaba hinzu – HappyOyster.
Beide stammen aus derselben Quelle, nämlich der im März dieses Jahres gegründeten Innovationsgruppe „Alibaba Token Hub“ (ATH).
Im Gegensatz zum “Happy Horse”-Einmalvorgang – “Schreibaufgabe eingeben, auf die Darstellung warten, fertigen Clip erhalten” – ist HappyOyster jedoch ein Produkt nach dem Open-World-Modell die in Echtzeit erstellt und mit denen in Echtzeit interagiert werden kann.
Es basiert auf einer nativen multimodalen Architektur; dahinter steht ein generatives Streaming-Weltmodell, das multimodale Eingaben und die gemeinsame Audio-Video-Generierung unterstützt. Während des Generierungsprozesses kann es kontinuierlich Anweisungen des Nutzers entgegennehmen, wobei die visuellen Elemente in Echtzeit darauf reagieren und sich ständig weiterentwickeln.
HappyOyster konzentriert sich auf zwei Kernfunktionen: „Wander“ und „Direct“.
Die „Wander“-Funktion ist das erste allgemeine Weltmodell, das jeden Stil und unbegrenzte Interaktionsmöglichkeiten unterstützt. Geben Sie einfach Text oder Bilder ein, und schon wird eine grenzenlos erkundbare Welt generiert, die über eine Minute lang Bewegung und Kamerasteuerung in Echtzeit ermöglicht.
Die „Direct“-Funktion hingegen ist eine auf dem Weltmodell basierende KI-Engine für die Videoregie in Echtzeit. Sie kann kontinuierlich bis zu 3 Minuten 720p-Echtzeitvideo generieren. Wir können die Kamera steuern, die Figuren koordinieren und die Handlung in Echtzeit über Textbefehle ändern.
Was den Namen angeht, steckt ein gewisser Gedanke dahinter. Er ist einer berühmten Zeile von Shakespeare entlehnt: “Die Welt liegt dir zu Füßen.”
Derzeit ist HappyOyster bereits online, und wir haben sofort einen Einladungscode erhalten. Als Nächstes wollen wir es einmal selbst ausprobieren.
Link zum Erlebnis: https://www.happyoyster.cn/
Für den Zugriff ist nun ein Einladungscode erforderlich.
HappyOyster-Praxistest: Dieses Modell von Alibaba World ist ziemlich interessant
Probieren wir doch zunächst einmal die wichtigste Funktion von Wander aus.
Diese Funktion ermöglicht die Erstellung von Welten anhand von Text oder Bildern.
Wir können entweder direkt Eingaben vornehmen oder für eine präzisere Steuerung “Charakter” und “Szene” separat definieren und zudem zwischen der Ich- und der Er-Perspektive wechseln.
Wir verwenden beispielsweise den “benutzerdefinierten Modus” und geben Folgendes separat ein:
Charakter: “Ein stilvolles blondes Model”
Szene: “Auf den Straßen von Paris in den 1980er Jahren.”
HappyOyster gibt kein festes Video direkt aus. Stattdessen erzeugt es innerhalb von etwas mehr als zehn Sekunden eine komplette Pariser Straße bei Nacht nach einem Regenschauer. Das Wasser auf dem Boden reflektiert das schwache gelbe Licht der Straßenlaternen, Autos rasen auf der Straße vorbei, auf beiden Seiten reihen sich Geschäfte aneinander, und alle Details entsprechen den Gesetzen der Physik.
Anschließend können wir die WASD-Tasten verwenden, um die Bewegung der Figur zu steuern, oder die Pfeiltasten, um die Kamera zu bewegen. Die Figur bewegt sich frei in diesem Raum, und schließlich entsteht ein Video.
Die gesamte Szene reagiert in Echtzeit, läuft durchgehend flüssig und ohne Verzögerungen.
Das System fügt außerdem automatisch Hintergrundmusik hinzu, die zur Atmosphäre der Szene passt, wobei Ton und Bild auf natürliche Weise aufeinander abgestimmt sind.
Außerdem haben wir ein Bild im Anime-Stil hochgeladen, das eine Radfahrersicht aus der Ich-Perspektive zeigt. Auf der Grundlage dieses statischen Bildes hat HappyOyster eine vollständige Szene generiert mit räumliche Struktur und Bewegungslogik.
Wenn sich die Perspektive nach vorne verschiebt, bleiben die Verlängerung der Straße, die Anordnung der Blumenfelder und die Schichtung der fernen Landschaft stimmig, ohne dass dabei deutliche Übergänge oder Sprünge erkennbar sind.
Die Bildsprache im Ghibli-Stil und die Atmosphäre der herabfallenden Kirschblüten ziehen sich ebenfalls wie ein roter Faden durch den gesamten Film.
Die „Wander“-Funktion passt sich verschiedenen Stilen an. Wir sind sogar direkt in ein Van-Gogh-Gemälde hineingelaufen.
Probieren wir nun die „Direct“-Funktion aus. Ihr größter Vorteil ist, dass Inhalte an jeder beliebigen Stelle im Video in Echtzeit geändert werden können.
Wir haben dem Ganzen einen Ghibli-Stil verliehen, und HappyOyster hat sofort eine Miyazaki-ähnliche Animationswelt erschaffen: ein kleines Mädchen, das einen roten Regenschirm in der Hand hält und nach einem Regenschauer auf einer holprigen Landstraße entlanggeht.
Nun geben wir die Eingabe ein: “Ein süßes Kätzchen im Ghibli-Stil rennt plötzlich auf das Mädchen zu.” Das Modell rendert die Szene nicht neu, sondern erzeugt direkt ein Kätzchen, das in der aktuellen Szene rennt und neben dem Mädchen herläuft.
Dann fügen wir eine weitere Anweisung hinzu: “Das Mädchen geht in die Hocke, um das Kätzchen zu streicheln.” Die Szene reagiert wieder sofort, das Mädchen beugt sich vor und streckt die Hand aus – die Bewegung wirkt natürlich und fließend.
Kurz gesagt: Das Modell kann Szenen und Handlungen der Figuren präzise an die von uns eingegebenen Vorgaben anpassen. Die Darstellung ist flüssig und natürlich, und jede Veränderung fügt sich nahtlos in die Handlung ein.
Technische Analyse von HappyOyster: Weltmodelle vs. Text-zu-Video
Nachdem man sich den Test angesehen hat, hat man intuitiv das Gefühl: Dieses Ding scheint sich von Modellen wie Sora oder Kling zu unterscheiden. Es ist tatsächlich anders, und der Unterschied beginnt bereits bei der zugrunde liegenden Logik.
Ob Sora oder Kling – Text-zu-Video-Modelle sind im Wesentlichen One-Shot-Systeme. Anhand von Text- oder Bildvorgaben organisiert das Modell Inhalt, Bewegung und Rhythmus innerhalb eines vordefinierten Zeitfensters und liefert anschließend das Ergebnis. Der Nutzer gibt eine Eingabe ein und erhält eine Ausgabe, und damit ist der Vorgang beendet. Es handelt sich um einen geschlossenen, einmaligen Vorgang, bei dem dazwischen kein Spielraum für Eingriffe besteht.
Dieser Modus reicht aus, um ein ausgefeiltes kurzes Video zu erstellen, aber wenn Sie zwischendurch eingreifen und etwas ändern möchten, das bereits geschehen ist, ist das damit einfach nicht möglich.
Das Konzept eines Weltmodells ist völlig anders. Es lernt, wie sich die Welt als Nächstes entwickeln wird, wie der aktuelle Zustand aussieht, was nach der Ausführung einer Aktion geschieht und wie es danach weitergeht. Es gibt keinen vorgegebenen Endpunkt. Wenn keine neuen Eingaben vorliegen, entwickelt das Modell die Welt auf der Grundlage des aktuellen Zustands weiter; wenn wir zwischendurch neue Anweisungen einspeisen, berechnet es die Zukunft auf der Grundlage des aktuellen Zustands neu. Es kann jederzeit unterbrochen, beeinflusst und umgeschrieben werden – eine Verschiebung hin zu dynamischer Interaktion, ähnlich wie bei der Evolution. von der Vibe-Codierung zur Wunsch-Codierung.
Aus diesem Grund ist das Trainieren eines Weltmodells wesentlich schwieriger als das von Text-zu-Video.
Die größte Herausforderung ist die Geschwindigkeit. Ein Weltmodell muss sofort reagieren, wenn ein Nutzer Anweisungen gibt. Jede wahrnehmbare Verzögerung zerstört das Eintauchen in die virtuelle Welt. HappyOyster nutzt ein Streaming-Generierungs-Framework, das hochdimensionale Video- und multimodale Informationen in einen kompakten, dynamischen latenten Zustand komprimiert. Dadurch werden die Rechenkosten pro Schritt erheblich reduziert, sodass die Generierung kontinuierlich und mit geringer Latenz fortgesetzt werden kann. Text, Bilder und Steuersignale wie Navigationsbefehle sind als Zustandsvariablen konzipiert, die online eingegeben werden können, sodass das Modell an jeder Stelle sofort reagieren kann, ohne den Generierungsprozess zurücksetzen zu müssen.
Ein schwierigeres Problem ist es, die Welt über lange Evolutionszeiträume hinweg konsistent zu halten. Je länger die Generierungszeit ist, desto wahrscheinlicher ist es, dass die Szene driftet und Strukturen zerfallen. Physikalische Regeln und räumliche Strukturen verlieren nach und nach ihre Bindungskräfte, und die Welt sieht langsam nicht mehr so aus wie zuvor. Um dieser “Amnesie” entgegenzuwirken, führt HappyOyster einen Mechanismus zur dauerhaften Wiederverwendung von Zuständen ein. Durch die kontinuierliche Übertragung historischer Aufmerksamkeitszustände übernimmt das Modell effizient generierte Informationen und aktualisiert diese schrittweise, wodurch eine stabile Szenenstruktur und dynamische Kohärenz über längere Zeiträume hinweg aufrechterhalten werden.
Was die audiovisuelle Koordination betrifft, verwendet HappyOyster – im Gegensatz zur Behandlung von Audio als nachträgliche Ergänzung – ein einheitliches Framework zur Audio-Video-Erzeugung. Visuelle und akustische Signale werden gleichzeitig unter denselben Weltzuständen generiert. Audio ist Teil der Weltdynamik und sorgt so auf natürliche Weise für eine modalübergreifende zeitliche Abstimmung.
Derzeit gibt es im Bereich der Weltmodelle mehrere repräsentative Forschungsrichtungen. Googles „Genie“ konzentriert sich auf die interaktive Weltmodellierung in Echtzeit, weist jedoch noch Einschränkungen bei der einheitlichen multimodalen Darstellung und der gemeinsamen Audio-Video-Generierung auf. „World Labs“ von Fei-Fei Li verfolgt einen Ansatz der räumlichen 3D-Rekonstruktion und legt dabei den Schwerpunkt eher auf geometrische Konsistenz als auf die dynamische Generierung langer Sequenzen im Pixelraum.
HappyOyster hat sich dafür entschieden, eine interaktive, dynamische Welt mit langen Sequenzen in Echtzeit im Pixelraum zu simulieren und fügt darüber hinaus die Fähigkeit zur gemeinsamen Audio-Video-Generierung hinzu. Dies ist ein Weg, den bisher nur wenige beschritten haben und für den es kaum vorhandene Vorbilder gibt, an denen man sich orientieren könnte.
Fazit von HappyOyster: Von der Erstellung von Inhalten bis zur Schaffung von Welten
Die AIGC hat sich bis heute weiterentwickelt, und die Tools zur Erstellung von Inhalten sind bereits recht ausgereift. Das Verfassen von Artikeln, das Erstellen von Bildern, das Produzieren von Videos – für all diese Anforderungen gibt es gute Lösungen. Doch dieser Bereich nähert sich still und leise einem neuen Wendepunkt: weg von der “Erstellung von Inhalten” hin zum “Aufbau von Welten”.”
Das Aufkommen von HappyOyster lässt uns die Umrisse dieser Entwicklung erkennen. Es bietet jedem eine “individuell gestaltbare digitale Welt”, die man jederzeit betreten und verändern kann und die in Echtzeit reagiert. Wir können darin umherwandern, darin Regie führen und sie mit anderen teilen, sodass diese die Geschichte in der von uns geschaffenen Welt fortsetzen können.
Was die Anwendungsszenarien angeht, reichen die Möglichkeiten weit über die Unterhaltung auf dem Bildschirm hinaus. Ausstellungen im Kulturtourismus, interaktive Kurzdramen, die Validierung von Filmkonzepten, Markenmarketing, gemeinsames Live-Kreativschaffen … jedes Szenario, das Echtzeit-Wahrnehmung, -Generierung und -Feedback-Schleifen erfordert, eignet sich natürlich dafür.
Auf längere Sicht betrachtet stellt HappyOyster – in Kombination mit Kameras, Sensoren, räumlichen Geräten und anderer Hardware – ein generatives Umgebungssystem dar, das kontinuierlich durch Signale aus der realen Welt gesteuert wird.
Aber ehrlich gesagt befinden sich Weltmodelle insgesamt noch in einem frühen Stadium. Langfristige physikalische Konsistenz, kausales Denken in komplexen Szenarien und ein tiefgreifendes Verständnis der Regeln der realen Welt sind allesamt ungelöste, schwierige Probleme. HappyOyster ist in dieser Richtung eine der Entwicklungen, die einem “brauchbaren Produkt” am nächsten kommt, aber da es sich um eine Erkundung handelt, sind die Grenzen noch nicht definiert.
Das ist sowohl eine Einschränkung als auch der Grund, warum es die Vorstellungskraft noch gibt.
