Le laboratoire VAST AI Research lance en open source EdenLive. Il devient alors possible de convertir de simples esquisses 3D en vidéos ultra-réalistes en direct. Cette nouveauté fait le bonheur des créateurs de jeux vidéo et d’animations.
Imaginez pouvoir dessiner un monde avec de simples blocs gris et le voir prendre vie instantanément sous vos yeux. C’est la prouesse réalisée par ce nouvel outil d’intelligence artificielle baptisé EdenLive. Ce lancement open source permet à n’importe quel créateur équipé d’une bonne carte graphique de générer un rendu visuel complet à 24 images par seconde. Fini les semaines passées à modéliser chaque brin d’herbe ou chaque reflet lumineux à la main. La machine s’occupe de tout, en temps réel.
Un cerveau qui sépare les règles du jeu de l’image
Jusqu’à présent, les modèles vidéo basés sur l’IA souffraient d’un défaut majeur : ils avaient la mémoire courte. Lorsqu’un joueur tournait la caméra dans un environnement virtuel, le décor avait tendance à changer tout seul. L’IA devait tout deviner à partir des pixels précédents, oubliant au passage le score du joueur ou l’état d’un mur détruit.
Pour résoudre ce casse-tête, les chercheurs ont adopté une approche maligne issue de leur Project Eden. Ils ont séparé la logique du monde de son apparence visuelle. D’un côté, un programme classique gère les collisions, les points de vie et la position des objets. De l’autre, l’IA agit comme un peintre ultra-rapide qui habille cette structure brute en temps réel.
Pour fonctionner, le système s’appuie sur trois ingrédients simples :
- Une vidéo de référence : un prototype basique sans textures (graybox), une animation brute ou même une vidéo filmée avec un téléphone.
- Une image cible : elle fixe l’ambiance, les couleurs et le style graphique souhaité, du photoréalisme au dessin animé.
- Une consigne textuelle : elle permet d’ajuster les détails ou de réagir aux actions du joueur, comme afficher une explosion lors d’un impact.
Grâce à un encodeur visuel spécialement entraîné, l’outil extrait uniquement le mouvement et la géométrie de la source. Il ne se laisse pas polluer par l’aspect rudimentaire des cubes gris de départ. Ce lancement open source s’accompagne d’ailleurs d’EdenGolem, un agent capable de coder lui-même un petit jeu basique à partir d’une simple phrase.
Du jeu vidéo à la robotique : un outil accessible à tous
Les applications concrètes de cette technologie donnent le tournis. Dans l’industrie du jeu vidéo, les studios peuvent tester différentes ambiances artistiques sur un même niveau en quelques clics. Il suffit de changer l’image de référence pour passer d’un univers médiéval sombre à un monde coloré façon manga. Les créateurs de vidéos peuvent aussi transformer une séquence filmée dans leur salon en peinture à l’huile animée, sans aucune modélisation 3D.
Le secteur de la robotique y trouve également son compte. Pour entraîner des robots à manipuler des objets, il faut normalement des milliers d’heures de vidéos. Avec cet outil, les chercheurs prennent une vidéo d’un humain qui attrape une tasse et remplacent numériquement ses mains par des pinces mécaniques. Le décor et les gestes restent identiques, mais les données d’entraînement sont multipliées sans effort. Côté matériel, les performances impressionnent. Le modèle léger de 5 milliards de paramètres tourne en temps réel (720p à 24 FPS) sur une seule carte graphique NVIDIA RTX 5090. Sur des puces professionnelles H100, il grimpe même à près de 30 images par seconde.
En optant pour un lancement open source sous licence Apache 2.0, l’équipe offre les poids de ses modèles (5B et 14B) à toute la communauté sur Hugging Face et GitHub. Ce lancement open source marque une étape clé vers des mondes virtuels plus vivants et accessibles.
Restez à la pointe de l'information avec REALITE-VIRTUELLE.COM !
- Partager l'article :
