Tencent vient de dévoiler GameGen-O, un modèle d'IA capable de générer des jeux vidéo en monde ouvert directement à partir d'entrées textuelles. En s'appuyant sur OGameData, un vaste ensemble de données comprenant 150 jeux de nouvelle génération et 4 000 heures de séquences de jeu, GameGen-O permet de réduire considérablement les délais et les coûts de développement pour les studios de jeux. Le modèle d'IA est entraîné avec des techniques de conversion de texte en vidéo et permet de créer des personnages innovants, des environnements dynamiques, des actions complexes et divers événements. En outre, il offre un contrôle interactif, ce qui permet de simuler le gameplay.Des chercheurs de Google ont récemment publié un article expliquant comment leur intelligence artificielle (IA) « GameNGen » permet de créer un jeu semblable à Doom sur un réseau neuronal. Selon les auteurs de l'article, GameNGen est le premier moteur de jeu entièrement alimenté par un modèle neuronal qui permet d'interagir en temps réel avec un environnement complexe sur de longues trajectoires avec une qualité élevée. GameNGen peut simuler de manière interactive le jeu classique Doom à plus de 20 images par seconde sur une seule TPU et la prédiction de l'image suivante atteint un PSNR de 29,4, comparable à la compression JPEG avec perte. Selon les affirmations des chercheurs, les évaluateurs humains sont à peine plus performants que le hasard pour distinguer les courtes séquences du jeu des séquences de la simulation.
Aujourd'hui, Tencent relève les enjeux des jeux vidéo générés par l'IA en présentant GameGen-O, une nouvelle IA qui permet la génération de jeux limités en monde ouvert à partir d'un texte. Cette technologie de génération procédurale vise à réduire considérablement le temps et le coût de construction des jeux en monde ouvert et du contenu avec lequel les joueurs interagissent. Tencent a travaillé avec des étudiants de Hong Kong pour développer cet ensemble de données de contenu de jeu, qui peut générer indépendamment des environnements, des personnages et des ressources de jeu.
L'émergence de cette technologie pourrait permettre de réduire les frais généraux des studios de jeux, qui ont réduit leurs effectifs pour tenter de faire des économies au cours des dernières années. L'équipe de recherche de GameGen-O estime que « cela souligne le potentiel des modèles génératifs à servir d'alternative aux techniques de rendu, qui peuvent combiner efficacement la génération créative avec des capacités interactives... »
Les artistes et les développeurs passent des mois à créer les personnages, les environnements, les actions et les événements de nos jeux préférés. Tencent, le géant chinois à l'origine de ce nouveau logiciel d'IA, possède un portefeuille diversifié avec des participations dans des sociétés de jeux mondiales. Riot Games (Valorant), Ubisoft Entertainment, Larian Studios (Baldur's Gate 3) et Remedy Entertainment.
Tencent presents GameGen-O
— AK (@_akhaliq) September 13, 2024
Open-world Video Game Generation
We introduce GameGen-O, the first diffusion transformer model tailored for the generation of open-world video games. This model facilitates high-quality, open-domain generation by simulating a wide array of game engine… pic.twitter.com/DlBt9iiLYZ
Les chercheurs en IA ont baptisé le processus de création de ces environnements « jeu en monde ouvert » (OGameData). Cette banque d'informations sur les jeux comprendrait 150 jeux de nouvelle génération et 4 000 heures de clips vidéo.
Selon les développeurs de GameGen-O, le logiciel de jeu suit un processus en deux étapes pour développer le contenu, à savoir « la formation préalable du modèle de fondation et la mise au point des instructions. Dans la première phase, le modèle est pré-entraîné sur OGameData via la continuation texte-vidéo et vidéo, ce qui confère à GameGen-O la capacité de générer des jeux vidéo dans un domaine ouvert. Dans la deuxième phase, le modèle pré-entraîné est gelé et nous l'affinons à l'aide d'un InstructNet entraînable, qui permet la production d'images ultérieures sur la base d'instructions structurelles multimodales ».
Le processus en est encore à ses débuts, mais des personnages comme Geralt of Rivia de The Witcher, John Marston de Red Dead Redemption et Jin Sakai de Ghost of Tsushima ont tous été rendus dans OGameData, selon la page d'annonce sur GitHub.
Ci-dessous, les auteurs de GameGen-O présentent brièvement leur modèle d'IA de génération de jeux :
Nous présentons GameGen-O, le premier modèle de transformateur de diffusion conçu pour la génération de jeux en monde ouvert. Ce modèle facilite la génération d'un domaine ouvert de haute qualité en simulant un large éventail de caractéristiques du moteur de jeu, telles que des personnages innovants, des environnements dynamiques, des actions complexes et divers événements. En outre, il offre un contrôle interactif, ce qui permet de simuler le gameplay.
Le développement de GameGen-O implique un effort complet de collecte et de traitement de données à partir de zéro. Nous collectons et construisons le premier ensemble de données sur les jeux vidéo en monde ouvert (OGameData), en amassant des données complètes provenant de plus d'une centaine de jeux en monde ouvert de nouvelle génération, en utilisant un pipeline de données propriétaire pour un tri, une notation, un filtrage et un sous-titrage découplé efficaces. Ces données OGameData robustes et exhaustives constituent la base du processus d'apprentissage de notre modèle.
GameGen-O est soumis à un processus de formation en deux étapes, consistant en un pré-entraînement du modèle de base et en un réglage des instructions. Dans la première phase, le modèle est pré-entraîné sur les OGameData via la continuation texte-vidéo et vidéo, ce qui donne à GameGen-O la capacité de générer des jeux vidéo en domaine ouvert. Dans la deuxième phase, le modèle pré-entraîné est gelé et nous l'affinons à l'aide d'un InstructNet entraînable, qui permet de produire les images suivantes sur la base d'instructions structurelles multimodales. L'ensemble de ce processus de formation confère au modèle la capacité de générer et de contrôler le contenu de manière interactive.
En résumé, GameGen-O représente un premier pas notable dans le domaine de la génération de jeux en monde ouvert par le biais de modèles génératifs. Il souligne le potentiel des modèles génératifs à servir d'alternative aux techniques de rendu, qui peuvent combiner efficacement la génération créative avec des capacités interactives.
Le développement de GameGen-O implique un effort complet de collecte et de traitement de données à partir de zéro. Nous collectons et construisons le premier ensemble de données sur les jeux vidéo en monde ouvert (OGameData), en amassant des données complètes provenant de plus d'une centaine de jeux en monde ouvert de nouvelle génération, en utilisant un pipeline de données propriétaire pour un tri, une notation, un filtrage et un sous-titrage découplé efficaces. Ces données OGameData robustes et exhaustives constituent la base du processus d'apprentissage de notre modèle.
GameGen-O est soumis à un processus de formation en deux étapes, consistant en un pré-entraînement du modèle de base et en un réglage des instructions. Dans la première phase, le modèle est pré-entraîné sur les OGameData via la continuation texte-vidéo et vidéo, ce qui donne à GameGen-O la capacité de générer des jeux vidéo en domaine ouvert. Dans la deuxième phase, le modèle pré-entraîné est gelé et nous l'affinons à l'aide d'un InstructNet entraînable, qui permet de produire les images suivantes sur la base d'instructions structurelles multimodales. L'ensemble de ce processus de formation confère au modèle la capacité de générer et de contrôler le contenu de manière interactive.
En résumé, GameGen-O représente un premier pas notable dans le domaine de la génération de jeux en monde ouvert par le biais de modèles génératifs. Il souligne le potentiel des modèles génératifs à servir d'alternative aux techniques de rendu, qui peuvent combiner efficacement la génération créative avec des capacités interactives.
Et vous ?
Quel est votre avis sur le sujet ? Trouvez-vous cette initiative de Tencent crédible ou pertinente ? Comment envisagez-vous l'avenir des jeux vidéo avec l'adoption de l'IA ?Voir aussi :
L'IA peut désormais générer Doom sans moteur de jeu : des chercheurs ont publié un article décrivant comment leur IA "GameNGen" peut créer un jeu de type Doom sur un réseau neuronal Tout le monde pourra-t-il bientôt créer des jeux vidéo en s'appuyant sur l'intelligence artificielle ? Les compétences artistiques ou en matière de codage informatique deviendront-elles inutiles ?