L'intelligence artificielle dans les jeux vidéo

L’intelligence artificielle a toujours fait partie du jeu vidéo. Que ce soit pour faire agir des personnages non joueurs (PNJ) ou affronter un adversaire fictif (bot) dans un jeu, l’IA a toujours fait partie du paysage.

Mais depuis les dernières innovations apportées dans le secteur de l’IA, le jeu vidéo est en train de réaliser énormément d’expérimentations avec cette technologie. Il est même envisageable que l’IA transforme radicalement l’industrie du jeu vidéo telle que nous la connaissons.

Pour le sujet de cette semaine, nous allons explorer plusieurs exemples qui montrent de quelle manière l’IA influence le jeu vidéo.

Modélisation d'environnements

Pendant des décennies, les développeurs ont cherché des moyens pour créer les environnements les plus vastes/détaillés possible le plus rapidement possible. Avec le temps, les développeurs ont créé tout un ensemble de techniques et de logiciels pour atteindre cette efficience :

• Les moteurs de jeu (Unity, Unreal Engine) permettent aux développeurs de se concentrer sur les aspects uniques de leur jeu plutôt que sur les détails techniques de base.
• Les frameworks (Phaser, libGDX, Pygame) fournissent des outils spécifiques pour accélérer le développement
• Les assets prêts à l’emploi (Unity Asset Store, Unreal Marketplace) , permettent aux développeurs d'acheter ou de télécharger gratuitement des modèles 3D, des textures, des animations, des effets sonores, et des musiques
• Il existe d’autres outils comme Blender pour la modélisation 3D, ou Audacity pour le traitement audio.

L’IA semble pousser le curseur beaucoup plus loin dans cette recherche d’efficience, et certains studios de développement semblent déjà l’adopter.

Développer des jeux avec l’IA

Roblox a présenté en février 2023 un outil basé sur l’IA où les développeurs peuvent créer des environnements, objets et avatars virtuels et moduler leur apparence et leurs fonctionnalités, en employant uniquement du langage naturel.

Dans sa lettre publiée pour l’année 2024, la société Square Enix a déclaré son intention d’être “agressif dans l'application de l'IA et d'autres technologies de pointe”.

Le fabricant du moteur de jeu Unity a annoncé "Muse" et "Sentis", Muse permettant de créer des animations, des icônes, des textures et des cartes à partir de messages et de croquis, et Sentis ajoute de l'IA pour la reconnaissance faciale, la détection d'objets et le traitement de la parole.

Ce ne sont que quelques annonces, mais cela montre que les développeurs de logiciel et de jeux sont très intéressés par les possibilités de l’IA. Cet intérêt est d’autant plus légitime quand on constate les inquiétudes des développeurs sur le développement des jeux à l’avenir.

Les joueurs souhaitent des jeux aux ambitions toujours plus démesurées, et pour créer ces jeux, l’industrie doit fixer des budgets encore plus gros, mobiliser des équipes encore plus importantes et faire porter aux développeurs des charges de travail encore plus lourdes. Des jeux comme Red Dead Redemption 2, Elden Ring ou encore Baldur’s Gate 3 sont très représentatifs de cette tendance.

Cette tendance est inquiétante dans le sens où on force les développeurs à travailler encore plus alors que le burnout est déjà très fréquent, et sur le long terme, les moyens nécessaires seraient tellement importants qu'il serait impossible de créer des jeux sans un gros studio, ce qui tuerait la scène indépendante.

Pour assainir cette industrie, il est impératif de trouver des moyens pour faciliter le développement des jeux, et l’Intelligence Artificielle est une solution très pertinente à ce problème.

Compétition

Si les jeux vidéos passionnent autant, c’est aussi pour son attrait compétitif, qui se manifeste de plusieurs façons :

• Runs à contraintes : terminer un jeu en suivant des conditions précises
• Scène compétitive (“esport”) : des tournois organisés par la communauté d’un jeu ou par les développeurs où des joueurs s’affrontent seuls ou en équipe
• Speedruns : terminer un jeu le plus rapidement possible

Toutes ces scènes sont en train de s’intégrer progressivement dans notre société, et cela crée un champ des possibles d’autant plus vaste pour les IA.

Il est fort possible que vous ayez tenté l’expérience de mettre des bots au niveau maximum, juste pour voir à quel point c’est difficile. Après plus ou moins d’essais, on se rend compte que l’IA du jeu suit une logique précise en fonction de nos actions. À force de connaître cette logique et d’agir en conséquence, nous finissons par la vaincre.

L’intelligence du bot dirigé par le jeu sera toujours limitée, certains développeurs se sont donc fixé la tâche suivante : Améliorer les IAs au point de battre les champions du monde à leurs jeux, et cet objectif a déjà été accompli à de maintes reprises. Voici 2 exemples de joueurs battus à leur propre jeu par une IA :

Neuro-sama

Neuro-Sama est un personnage virtuel que l’on peut suivre en Live sur Twitch et qui possède une chaîne Youtube. Une personnalité qui s’affiche avec un avatar virtuel est communément appelé un “VTuber”.

Mais en tant que VTuber, Neuro-sama a deux particularités. La première est que ce personnage est entièrement géré par Intelligence Artificielle, que ce soit pour jouer à des jeux, lire le chat sur Twitch ou même répondre aux commentaires. Même sa personnalité a été définie en amont.

La seconde est que Neuro-Sama peut jouer à des jeux et s'améliore au fil des parties, et va se faire particulièrement remarquer sur le jeu de rythme Osu. Neuro-Sama a atteint un niveau capable de rivaliser avec les meilleurs joueurs d’Osu et va fortement attirer l’attention de la communauté.

En février 2023, un groupe de 15 personnes faisant partie des meilleurs joueurs du monde d’Osu ont affronté Neuro-Sama, et l’Intelligence Artificielle a surpassé tous les joueurs.

Dota 2

Osu est un jeu où toutes les informations sont disponibles. Mais qu’est-ce qui se passe si on envoie l’IA dans un jeu à information incomplète ? On obtient l’exemple de Dota 2.

Dota 2 est un jeu qui nécessite d’exécuter énormément d’actions différentes, où le travail d’équipe est primordial et où le “brouillard de guerre” nous empêche de savoir tout ce qui se passe dans la partie.

Pour créer un modèle d’IA compétitif, OpenAI a créé OpenAI Five, un système utilisant des algorithmes d'apprentissage par renforcement qui a un temps de jeu équivalent à 45 000 ans, pour maîtriser seulement 17 personnages. Le but n’était pas de maîtriser tout le jeu, mais d’entraîner suffisamment le modèle pour être capable de rivaliser avec les meilleurs joueurs.

En Avril 2019, OpenAI Five a gagné deux parties consécutives contre l'équipe OG, championne du monde de Dota 2, et a proposé à tous les joueurs d’affonter OpenAI Five dans un événement appelé “Arena”. Après 3 jours de jeu contre la communauté de Dota 2, l’IA a réalisé 42 473 victoires pour 256 défaites.

Que déduire de ces exemples ?

Si l’IA est capable de surpasser le niveau des scènes compétitives dans les jeux vidéo, on pourrait envisager une scène compétitive annexe dédiée à l’IA, où les joueurs créeraient un modèle en respectant certaines règles. Une fois le modèle créé, il pourrait ensuite affronter celui des autres joueurs.

Toutefois, même si l’IA réalise des exploits notables, elle ne semble pas impacter la scène compétitive actuelle. Quand bien même Garry Kasparov, champion du monde d’échecs, a été battu en 1997 par l’ordinateur d’IBM Deep Blue, la scène compétitive des échecs est très vivante. Même chose pour les jeux vidéo, il n'y a pas d'exemple historique montrant que l'IA remplace la compétition entre les joueurs

Renforcer l'immersion des joueurs

En plus de faciliter le développement des jeux et de créer des bots compétitifs, l’IA peut aussi être utilisée pour renforcer l’immersion des joueurs.

Le géant de la technologie Nvidia a dévoilé en mai 2023 une démo de son moteurNVIDIA Avatar Cloud Engine (ACE) pour les jeux. La démo montrait un dialogue généré par intelligence artificielle PNJ (personnage non joueur) derrière le bar discutant avec le joueur.

Un cas d’utilisation de l’IA est de l'intégrer aux PNJ de façon à mieux interagir avec le joueur, en tenant compte de ses opinions, de son vécu, de la réputation du joueur, etc…

Nvidia a annoncé en janvier 2024 que de multiples entreprises telles que Ubisoft, Tencent (propriétaire de Riot Games), MiHoYo (créateur de Genshin Impact), et des studios chinois tels que NetEase et Ourpalm font partie de ceux qui utilisent ses outils d'IA pour créer des PNJ plus crédibles.

Un PNJ sur Skyrim parle de Gandalf (du Seigneur des Anneaux)

En dehors d’Nvidia, il existe déjà des mods qui permettent d’intégrer ChatGPT pour pouvoir converser avec les PNJ d’un jeu et il existe toute une série de vidéos sur Youtube où l’on peut voir des personnalités dialoguer naturellement avec des PNJ des jeux Skyrim ou encore de Mount & Blade 2 : Bannerlord.

Dans un avenir à plus long terme, on pourrait même imaginer un “monde autonome”, c’est-à-dire un monde qui vit par lui-même et qui réagit en fonction de nos actions.

Mais à la différence des jeux vidéo actuels qui utilisent des scripts conçus à l'avance pour réagir à telles actions du joueur, ce serait l'IA qui mettrait en place ses propres scripts et qui les ajusteraient en temps réel, en fonction de différents paramètres.