En matière de simulation vidéo, l’IA générative réalise une avancée remarquable. Autrefois limité aux vidéos passives, le secteur s’ouvre désormais aux univers interactifs. L’utilisateur y prend directement le contrôle. C’est dans cette dynamique que la startup Skywork AI a publié Matrix-Game 2.0 mi-août 2025.
Distribué sous licence open source MIT, ce modèle d’un nouveau genre génère un flux vidéo en continu à une cadence de 25 images par seconde. Il réagit instantanément aux commandes transmises par un clavier ou une souris. Une décision qui contraste fortement avec les pratiques du milieu, qui réservait jusque-là ses innovations clés à des accès restreints.
Prendre les commandes de l’image
Pendant plusieurs mois, la génération vidéo par IA s’est mesurée à l’aune de la qualité visuelle pure. Des outils emblématiques tels que Sora ont impressionné par leur capacité à traduire une consigne textuelle en une séquence animée d’une grande richesse esthétique. Cependant, ces vidéos partagent toutes une limite fondamentale : elles sont immuables. Une fois le rendu calculé, l’observateur assiste de manière totalement passive à la scène, sans possibilité d’interférer avec les objets ou les personnages à l’écran.
Pour construire un modèle de monde (ou world model), la simple génération d’images ne suffit pas. Le système doit intégrer la causalité, appréhender la persistance spatiale et modéliser la physique d’un environnement. Autrement dit, si un utilisateur fait pivoter son regard ou avance d’un pas, l’IA doit calculer l’état logique suivant en une fraction de seconde. C’est précisément le défi auquel s’était attelé DeepMind avec Genie 3, un modèle interactif très remarqué mais conservé sous un accès restreint. En faisant le choix de publier l’intégralité du code et des poids de Matrix-Game 2.0, Skywork AI offre aux chercheurs du monde entier un terrain d’expérimentation accessible.
L’obstacle majeur de cette approche tenait à la lourdeur des calculs. Les modèles de diffusion classiques exploitent une attention bidirectionnelle qui passe en revue l’ensemble de la séquence pour affiner les pixels à travers des dizaines, voire des centaines d’étapes de débruitage. Une telle architecture garantit une cohérence globale, mais génère une latence importante qui interdisait le moindre contrôle en direct. Pour contourner ce verrou, les ingénieurs de Skywork AI ont repensé le pipeline d’inférence afin de passer d’un traitement par blocs à un flux auto-régressif accéléré.
Une architecture taillée pour le temps réel
L’ossature technique de Matrix-Game 2.0 repose sur un réseau de 1,8 milliard de paramètres. Le système dérive du modèle WanX. Les concepteurs y ont remplacé le traitement du texte par un composant d’action. Toute la puissance de calcul se concentre ainsi sur la prédiction de l’image suivante, basée sur le passé visuel et les commandes de l’utilisateur. Pour fonctionner sans temps mort, le système s’articule autour de deux briques algorithmiques majeures. La première est un auto-encodeur variationnel (VAE) causal en trois dimensions. Cet outil effectue une compression spatiale d’un facteur 8×8 et une compression temporelle d’un facteur 4. Il réduit ainsi le volume d’informations vidéo à une représentation latente compacte, beaucoup moins lourde à manipuler pour le réseau.
La seconde brique est un transformateur de diffusion (DiT) qui opère sur ces représentations compressées. C’est là qu’intervient une optimisation clé : la distillation d’un modèle « enseignant » vers un modèle « élève ». Le premier exigeait près de 1 000 étapes de débruitage par image. Le second réalise la même prouesse en seulement 3 étapes. Ce gain de temps repose sur l’auto-forçage (Self-Forcing) et la distillation par correspondance de distribution (DMD).
La mémoire à long terme repose sur un KV-Cache à fenêtre glissante de 6 frames. L’IA conserve uniquement l’historique le plus récent. Elle évite ainsi de recalculer tout le passé et limite la propagation d’erreurs. Résultat : le flux reste fluide pendant plusieurs minutes, sans baisse brutale de qualité.
Le clavier et la souris deviennent des moteurs de rendu
Si le rendu à 25 images par seconde constitue la condition indispensable du temps réel, la finesse de la prise en main dépend intégralement de la manière dont les commandes sont intégrées dans le réseau génératif. Matrix-Game 2.0 introduit pour cela un module d’injection d’actions frame par frame. Plutôt que d’interpréter des instructions vagues comme « avancer » ou « tourner à droite », le système intercepte directement les signaux physiques bruts transmis par le matériel. Les mouvements de la souris sont traduits sous forme de trajectoires continues dans un plan bidirectionnel ($\mathbb{R}^2$), tandis que les pressions sur les touches du clavier fournissent des valeurs discrètes enregistrées sous forme de vecteurs one-hot.
Ces données d’action traversent un perceptron multicouche (MLP) avant d’être fusionnées à chaque niveau du transformateur de diffusion grâce à un mécanisme d’attention croisée et un codage positionnel de type RoPE. Concrètement, l’action du joueur n’est pas ajoutée comme un simple filtre après coup : elle réoriente le processus même de débruitage de la trame suivante.
Cette intégration garantit une réactivité visuelle directe. Un coup de souris vers la gauche ? Décor, ombres et perspective s’ajustent dès la trame suivante. Au clavier, le franchissement d’un obstacle adapte la caméra selon la physique classique. L’utilisateur ne regarde plus une vidéo passive. Il explore en direct un univers visuel généré à la volée.
1 200 heures d’apprentissage dans les moteurs de jeu
Un modèle génératif dépend étroitement des données qui l’alimentent. Pour apprendre à une IA la manière dont les objets réagissent, glissent ou se masquent mutuellement, Skywork AI a mis en place une chaîne d’extraction automatique à grande échelle. Ce système a ingéré près de 1 200 heures de séquences issues d’environnements virtuels complexes, principalement construits sur Unreal Engine et Grand Theft Auto V (GTA5), complétés par des données de Minecraft.
L’originalité de ce corpus réside dans sa synchronisation. Chaque trame vidéo enregistrée est associée à l’état exact des commandes envoyées au même instant. Pour garantir une grande précision, la position et l’orientation de la caméra ont été capturées à l’aide de quaternions, évitant ainsi les imprécisions dans le suivi des trajectoires. Des algorithmes de filtrage automatisés ont ensuite nettoyé les données pour éliminer les saccades ou les mouvements incohérents.
En parallèle, des agents d’apprentissage par renforcement ont été déployés pour parcourir ces univers virtuels de manière autonome, accumulant une diversité de points de vue, de météos et de configurations topographiques. Grâce à cette immersion dans des moteurs de jeu aux physiques éprouvées, Matrix-Game 2.0 a développé une compréhension pratique des règles spatiales. Qu’il s’agisse du comportement de l’eau, de la projection des ombres portées ou du franchissement d’escaliers, le modèle génère des séquences qui respectent la cohérence de l’espace.
Une supériorité technique mesurée par benchmark
Afin d’évaluer scientifiquement les capacités de leur création, les chercheurs ont soumis Matrix-Game 2.0 à un banc d’essai nommé GameWorld Score. Cet outil regroupe huit métriques distinctes évaluant la qualité visuelle, la stabilité temporelle, la fidélité aux commandes et la compréhension des contraintes physiques.
Confronté à Oasis, l’un des modèles open source de référence sur l’univers Minecraft, Matrix-Game 2.0 affiche des performances supérieures. Alors qu’Oasis souffre d’une dégradation rapide de l’image et finit par figer la scène après quelques dizaines de trames, le modèle de Skywork AI maintient un rendu stable et réactif sur plusieurs centaines de frames consécutives.
Les évaluations menées en double aveugle auprès de juges humains confirment ces mesures : Matrix-Game 2.0 obtient plus de 95 % de préférences toutes catégories confondues, qu’il s’agisse du réalisme des paysages ou de la réactivité des commandes. En matière de vitesse pure, déployé sur un processeur graphique professionnel de type NVIDIA H100, le système produit régulièrement entre 25 et 30 images par seconde.
Configuration requise et perspectives applicatives
Fidèle aux principes du logiciel libre, Skywork AI a mis en ligne l’ensemble du code sur GitHub ainsi que les poids du modèle sur HuggingFace. Cependant, faire tourner une telle mécanique en local demande des ressources informatiques substantielles. Pour obtenir un flux fluide à 25 images par seconde, la configuration recommandée nécessite une carte graphique dotée d’au moins 24 Go de mémoire vidéo (VRAM) et épaulée par 64 Go de mémoire système. L’environnement logiciel s’appuie également sur des briques d’optimisation comme FlashAttention et NVIDIA Apex pour réduire au maximum le goulot d’étranglement matériel.
Matrix-Game 2.0 dépasse la simple démonstration. Son potentiel touche aussi bien le jeu vidéo et le cinéma que la robotique ou la VR. En partageant ce projet, Skywork AI accélère la transition vers des simulations interactives, réinventant nos échanges avec le numérique.
Restez à la pointe de l'information avec REALITE-VIRTUELLE.COM !
- Partager l'article :
