Les personnages non joueurs (PNJ) que vous rencontrez dans les jeux vidéo sont peut-être doués pour le combat ou pour vous donner des objets précieux, mais personne ne les a jamais accusés d’être de fins bavards. Certains se contentent de grogner ou de prononcer des réponses de deux mots. Même les PNJ les plus élaborés ne possèdent souvent que quelques lignes de dialogue préprogrammées, enregistrées par des acteurs de doublage humains, ce qui rend les personnages informatiques susceptibles de se répéter si vous leur parlez pendant plus d’une minute.L’IA améliore les compétences conversationnelles des PNJ. Depuis la sortie de ChatGPT d’OpenAI, les développeurs modifient les jeux existants pour y inclure des PNJ qui fusionnent ChatGPT avec une technologie de synthèse vocale pour générer un discours original et audible. Certains de ces mods proposent même aux joueurs de nouveaux scénarios, dont un dans l’univers de Grand Theft Auto V où vous incarnez un policier du Los Santos Police Department (LSPD).
La voix, captée par le microphone, pourrait bientôt rendre les jeux vidéos beaucoup plus immersifs
La voix IA pourrait être une évolution majeure dans la conception des jeux. Vous pouvez en avoir un aperçu grâce à une démo récemment publiée par Replica Studios qui présente une version modifiée du jeu Matrix Awakens qui vous permet d’utiliser votre propre microphone pour converser avec des PNJ dans les rues de la ville. La démo offre un aperçu maladroit mais fascinant de la façon dont la voix IA pourrait bientôt rendre les jeux vidéo beaucoup plus immersifs, en permettant aux studios de jeux de développer l’interactivité sociale des mondes virtuels d’une manière qui aurait été pratiquement impossible avec des acteurs de doublage humains.
Envoyé par Replica Studios
Chez Replica, nous pensons que la technologie AI Voice a le potentiel d'éliminer les goulots d'étranglement critiques dans le développement de jeux narratifs lourds, permettant aux studios de raconter des histoires toujours plus grandes et plus immersives.
En discutant et en travaillant avec certains des studios et des franchises de jeux les plus prospères d'aujourd'hui, nous avons découvert un problème intéressant que beaucoup d'entre eux ont en commun.
Bien que bon nombre de ces studios disposent de budgets de production alléchants et d'énormes équipes de personnes pour coordonner le doublage, ils atteignent une limite supérieure sur le nombre de personnages et de lignes de dialogue qu'ils peuvent livrer dans les jeux vidéo.
La raison en est que la complexité croît de façon exponentielle avec l'échelle. Lorsque vous considérez des jeux qui ont plusieurs centaines de personnages PNJ, où chaque PNJ nécessite un doubleur pour interpréter les lignes, un réalisateur pour le coaching de performance en direct, les changements de script potentiels et les reprises, le mastering et les effets sonores, le doublage et la localisation, puis l'animation, les effets spéciaux, effets visuels, etc*; l'effort impliqué dans la coordination de ce projet massif dans un laps de temps limité est énorme.
Il est évident que le système actuel consistant à peupler les jeux vidéo de personnages et à créer une immersion par le biais de la narration ne s'adapte pas facilement. Nous voyons le potentiel de l'IA pour résoudre bon nombre de ces défis, permettant même aux petites équipes de rêver grand et d'adapter leurs jeux à des aventures épiques.
*Nous sommes ravis de vous présenter les PNJ intelligents alimentés par l'IA de Replica Studios pour Unreal Engine. Considérez cela comme une partie du travail fondamental que nous effectuons pour aider les studios de jeux à faire évoluer facilement leurs jeux avec des PNJ alimentés par l'IA entièrement exprimés et animés.
En discutant et en travaillant avec certains des studios et des franchises de jeux les plus prospères d'aujourd'hui, nous avons découvert un problème intéressant que beaucoup d'entre eux ont en commun.
Bien que bon nombre de ces studios disposent de budgets de production alléchants et d'énormes équipes de personnes pour coordonner le doublage, ils atteignent une limite supérieure sur le nombre de personnages et de lignes de dialogue qu'ils peuvent livrer dans les jeux vidéo.
La raison en est que la complexité croît de façon exponentielle avec l'échelle. Lorsque vous considérez des jeux qui ont plusieurs centaines de personnages PNJ, où chaque PNJ nécessite un doubleur pour interpréter les lignes, un réalisateur pour le coaching de performance en direct, les changements de script potentiels et les reprises, le mastering et les effets sonores, le doublage et la localisation, puis l'animation, les effets spéciaux, effets visuels, etc*; l'effort impliqué dans la coordination de ce projet massif dans un laps de temps limité est énorme.
Il est évident que le système actuel consistant à peupler les jeux vidéo de personnages et à créer une immersion par le biais de la narration ne s'adapte pas facilement. Nous voyons le potentiel de l'IA pour résoudre bon nombre de ces défis, permettant même aux petites équipes de rêver grand et d'adapter leurs jeux à des aventures épiques.
*Nous sommes ravis de vous présenter les PNJ intelligents alimentés par l'IA de Replica Studios pour Unreal Engine. Considérez cela comme une partie du travail fondamental que nous effectuons pour aider les studios de jeux à faire évoluer facilement leurs jeux avec des PNJ alimentés par l'IA entièrement exprimés et animés.
Pour donner aux PNJ des capacités conversationnelles, le système Smart NPCs de Replica fusionne ChatGPT avec une technologie de synthèse vocale. Le logiciel, qui fonctionne sur Unreal Engine 5, synchronise également automatiquement les mouvements des lèvres et du corps des personnages avec leur discours. Du côté manuel, les développeurs peuvent personnaliser chaque personnage pour qu’il ait une voix, une histoire et un ensemble de dispositions et de motivations émotionnelles uniques - un processus qui détermine non seulement ce que les personnages vous disent, mais aussi ce qu’ils se disent entre eux.
Un testeur raconte son aventure avec
Lorsque j’ai essayé la démo, je n’ai pas entendu les PNJ converser entre eux, mais j’ai eu quelques conversations qui offrent un aperçu de la qualité actuelle de la technologie. Chaque personnage auquel j’ai parlé était disposé à avoir une sorte de conversation, et ils étaient même capables de se souvenir des sujets passés dont nous avions discuté lorsque je les ai croisé quelques minutes avant. Mais tous les PNJ ne semblaient pas enthousiastes à l’idée de parler. À un coin de rue, j’ai demandé à une femme comment elle s’appelait et elle a répondu : « Je m’appelle Chelsie, et je viens d’un monde de déception ». Je lui ai demandé si elle savait qu’elle était dans un jeu informatique. « Je ne sais pas ce que je suis ni où je suis. Rien n’a plus de sens ».
C’est compréhensible : elle est coincée dans la Matrice, après tout. J’ai essayé de voir si les personnages avaient reçu pour instruction d’éviter de briser le quatrième mur en ne parlant jamais de la célèbre série de films sur laquelle le jeu est basé. Quelques personnages sous-entendaient n'avoir aucune connaissance des films. Mais ensuite, j'ai demandé à un personnage de nommer un film de science-fiction de 1999 : Elle a proposé The Matrix, en disant que c'était l'un de ses films préférés de tous les temps.
Pour tester les limites de la connaissance que les personnages ont d'eux-mêmes, j'ai demandé à un homme vêtu d'un costume gris de quelle couleur étaient ses vêtements. Il a dit qu'il portait une chemise arc-en-ciel. Quand je lui ai dit que c'était faux, il a dit qu'il devait rêver.
Une nouvelle ère de jeux indépendants
Le projet Matrix Awakens de Replica était une démo, il est donc probable que les futurs jeux utilisant des systèmes vocaux d'IA seraient en mesure d'affiner les PNJ pour que leur discours s'aligne plus étroitement sur la réalité du monde du jeu. Pourtant, ces hoquets soulèvent des questions sur les PNJ "jailbreakés" dans les futurs jeux*: étant donné que les jailbreakers ont déjà fait parler ChatGPT et GPT-4 d'une manière que leurs développeurs n'avaient jamais prévue, il reste une question ouverte de savoir si les joueurs créatifs seront en mesure d'obtenir des PNJ. dire – ou même faire – des choses tout aussi surprenantes.
En termes de construction de mondes massifs et socialement immersifs, les systèmes vocaux d'IA pourraient bientôt permettre aux studios de jeux indépendants de rivaliser plus facilement avec les grands noms de l'industrie. Les jeux créés par de grandes entreprises (souvent appelées studios AAA) peuvent comporter des dizaines de milliers de lignes de dialogue. Par exemple, Red Dead Redemption 2 de Rockstar Games, qui avait un budget estimé à plus de 500 millions de dollars, contient 500 000 lignes de dialogue enregistrées parlées par plus de 1 000 acteurs de la voix.
En utilisant l'IA, les studios indépendants pourraient atteindre ce genre de quantité à un prix abordable. La qualité est une question distincte. Les acteurs professionnels de la voix humaine surpassent toujours les systèmes de synthèse vocale en termes de son naturel, émotif et convaincant. Mais les joueurs ne se soucient peut-être pas beaucoup du réalisme du discours des PNJ. Après tout, les jeux indépendants deviennent de plus en plus populaires même s'ils manquent généralement du genre de graphismes hyperréalistes que l'on voit dans les jeux AAA.
Pour tirer le meilleur parti des deux mondes, les développeurs peuvent également opter pour un mélange de dialogues générés par l'IA et d'acteurs vocaux, comme l'a écrit Replica Studios dans un article de blog.
Conclusion
La plus grande évolution que l'IA vocale pourrait apporter aux jeux - qu'ils soient indépendants ou AAA - réside sans doute dans l'histoire. Les jeux d'aujourd'hui utilisent souvent des astuces sophistiquées pour donner aux joueurs l'illusion qu'ils contrôlent leur destin, comme les systèmes de karma qui suivent votre comportement et vous donnent une réputation qui influence la façon dont les PNJ interagissent avec vous. Ces astuces peuvent changer le scénario et déclencher certaines lignes de dialogue avec les PNJ, mais en réalité, cette stratégie de «*narration ramifiée*» ne permet aux joueurs de choisir qu'à partir d'un petit lot de destins prédéterminés.
L'IA pourrait un jour permettre des scénarios de jeu beaucoup moins linéaires, libérant potentiellement les joueurs pour créer des récits dont les développeurs n'ont jamais rêvé.
Téléchargez et installez la démo jouable avec REPLICA Smart NPCs dans le projet Matrix AwakensSource : Replica Studio
Et vous ?
Que pensez-vous de la démo de Replica Studios qui permet de converser avec les PNJ dans le jeu Matrix Awakens ? Quels sont les avantages et les inconvénients de l’utilisation de l’IA pour générer des dialogues dans les jeux vidéo ? Quels sont les défis techniques que pose l’IA conversationnelle dans le domaine du jeu vidéo ? Quels sont les jeux vidéo que vous aimeriez voir modifiés avec l’IA conversationnelle ? Quelles sont les compétences ou les connaissances nécessaires pour créer des mods avec l’IA conversationnelle ? 
