Il y a quelques années, je m’étais intéressé à la difficulté que représentaient les jeux de stratégie pour une intelligence artificielle. À l’époque, StarCraft II représentait le Graal pour la recherche avec un environnement complexe, incomplet, dynamique, dans lequel deux adversaires doivent gérer simultanément leur économie, leurs unités, leur territoire et les informations dont ils disposent. Et surtout, contrairement aux échecs, l’adversaire ne joue pas chacun son tour. Les deux joueurs agissent et réfléchissent en parallèle. Depuis, les choses ont un peu changé et pas forcément pour l’unique raison que les IA sont devenues meilleures. Le problème lui-même a changé.
En bref : l’enjeu n’est plus de fabriquer l’IA qui bat le meilleur joueur, mais une IA qui comprend une consigne et joue avec nous. Un LLM seul ne peut pas piloter chaque unité : il faut un cerveau pour la stratégie et des réflexes pour l’exécution. Et l’IA la plus utile n’est pas forcément l’adversaire le plus fort.
De l’IA qui gagne à l’IA qui comprend
Lorsque DeepMind présentait AlphaStar en 2019, la démonstration était spectaculaire. Une intelligence artificielle était capable de jouer à StarCraft II à un niveau comparable aux meilleurs joueurs humains. Enfin, je l’avais résumé en « AlphaStar sait gagner à StarCraft ». Cela ne signifie pas qu’AlphaStar sait jouer à un autre jeu de stratégie. Encore moins qu’il sait comprendre une consigne telle que : « Développe ton économie, sécurise le flanc gauche et prépare une attaque lorsque tu auras suffisamment de ressources. »
Pour nous, cette phrase est parfaitement compréhensible… mais pour une IA spécialisée, elle ne signifie rien. Il faut transformer chaque élément en règles, actions, états et objectifs mesurables. C’est une différence fondamentale. L’IA traditionnelle apprend à optimiser un jeu. L’IA actuelle commence à essayer de comprendre ce qu’on lui demande de faire dans un jeu. Et ce changement est probablement beaucoup plus important.
Le problème des LLM
Avec l’arrivée des grands modèles de langage, une nouvelle possibilité est apparue. On peut désormais donner une instruction à une machine sans avoir à lui expliquer précisément chaque étape. « Construis une base défensive. » puis « Trouve une manière de ralentir son expansion. » suivi de « Prépare une attaque sur son économie. » et plus acide « Pourquoi est-ce que tu produis autant d’infanterie ? »
Ce sont des demandes que les modèles de langage savent comprendre. Mais cela ne signifie pas qu’ils savent jouer. Et c’est là que les choses deviennent intéressantes. Un RTS demande deux choses qui s’opposent presque parfaitement. D’un côté, il faut être capable de raisonner à long terme. De l’autre, il faut prendre des décisions immédiatement. Il faut savoir qu’une expansion dans trois minutes sera probablement nécessaire. Mais il faut aussi savoir qu’une unité ennemie vient d’apparaître à gauche de la carte et qu’il faut déplacer immédiatement trois unités pour l’intercepter.
Un LLM est plutôt bon pour le premier problème. Il est déjà beaucoup moins adapté au second. Faire réfléchir un modèle plusieurs secondes pour décider du déplacement d’un soldat est évidemment absurde dans un jeu où une bataille peut être décidée en quelques secondes. La solution n’est donc probablement pas de demander à un LLM de jouer directement, il faut lui donner un autre rôle.
Le cerveau et les réflexes
C’est probablement l’architecture la plus intéressante pour les futurs jeux de stratégie. Une IA pourrait avoir plusieurs niveaux de décision. Un premier niveau s’occuperait de la stratégie. Il pourrait analyser la situation générale :
- notre économie et production ;
- notre position et les informations disponibles sur l’adversaire pour en déduire les menaces identifiées ;
- enfin les objectifs à moyen terme.
Dans un Age of Empires-like, il pourrait prendre une décision du type : « Nous sommes en retard économiquement. Évite l’affrontement frontal et concentre-toi sur la sécurisation de notre deuxième zone de ressources. »
Un autre système s’occuperait ensuite de l’exécution.
Il déplacerait les unités, réagirait aux attaques, gérerait les combats éventuels, soyons fous, en micro-gérant les troupes. Mais surtout, il n’aurait pas besoin de demander au modèle de langage ce qu’il doit faire à chaque seconde. On retrouverait finalement quelque chose qui ressemble beaucoup au fonctionnement humain. Nous ne réfléchissons pas consciemment à chaque mouvement de souris. Nous avons une intention générale. Puis une multitude de processus plus rapides se chargent de l’exécution.
Des travaux récents explorent justement cette séparation entre une intelligence capable de planifier à haut niveau et des mécanismes plus rapides capables de gérer les réactions tactiques. SwarmBrain, par exemple, expérimente cette approche dans StarCraft II en associant un modèle de langage chargé de la stratégie macro à un système plus réactif pour les actions rapides.
Ce n’est probablement pas encore la solution définitive. Mais l’architecture paraît nettement plus cohérente que l’idée d’un gros modèle de langage qui contrôlerait directement chaque unité.
Et si l’IA n’était plus l’adversaire ?
C’est peut-être là que le changement devient vraiment intéressant. Depuis des décennies, nous concevons l’intelligence artificielle des jeux vidéo comme un adversaire. Le fameux joueur ordi qui joue contre nous.
Dans un RTS, cela donne généralement quelque chose d’assez artificiel. L’IA possède une liste de règles. Si le joueur fait X, elle répond Y. Si elle possède suffisamment de ressources, elle construit telle unité. Si elle détecte votre base, elle attaque. Et lorsqu’elle doit être plus difficile, on lui donne parfois simplement davantage de ressources ou la vision sans brouillard de guerre.
Ce n’est pas de l’intelligence. C’est un avantage. Dans de nombreux titres, le joueur finit généralement par comprendre le système. Il a appris l’IA, enfin ses règles, et comment les contrer. Une IA réellement adaptative changerait complètement cette relation.
Imaginons un adversaire qui apprend progressivement notre façon de jouer. Il apprendrait à contrer les mêmes ouvertures que l’on lui présenterait. Il ne serait plus nécessaire d’écrire manuellement toutes ces possibilités, il pourrait lui-même découvrir de nouvelles stratégies.
Mais il y a un piège
Une IA capable de faire tout cela pourrait devenir un adversaire absolument horrible et retirerait tout le plaisir de jouer. Même si gagner n’est pas nécessairement le but d’un bon jeu vidéo. C’est même probablement l’un des points que nous avons le plus tendance à oublier, et encore plus lorsque nous parlons d’IA. Un joueur humain ne veut pas forcément affronter l’adversaire le plus efficace possible.
Il veut affronter un adversaire intéressant, surprenant, contre lequel il a une chance et avoir la sensation de gagner parce qu’il était supérieur. L’IA qui calcule parfaitement le meilleur coup à chaque instant pourrait donc être une catastrophe en termes de game design. C’est le game killer.
Imaginons un Age of Empires dans lequel l’IA sait toujours exactement quand attaquer, elle connaît notre économie, le listing de nos unités et ce qu’il faut produire pour les contrer… bref elle ne commet aucune erreur. Impressionnant et aucunement amusant.
C’est finalement la différence fondamentale entre une IA faite pour gagner et une IA qui sait jouer. Les problèmes sont donc bien différents et, sans métrique à optimiser, on est encore loin de voir ce cas se profiler devant nous.
Une IA qui joue avec nous
L’autre alternative (et c’est ici que les travaux récents autour des agents de jeu deviennent particulièrement intéressants) est de faire jouer l’IA en binôme avec un humain. Avec SIMA, DeepMind explore par exemple une approche beaucoup plus générale : une IA qui regarde l’écran, comprend des instructions en langage naturel et agit dans différents jeux avec une interface comparable à celle utilisée par un humain. Un peu comme un débutant qui serait observateur sur Sudden Strike 2. Le changement de philosophie est assez radical.
On ne cherche plus uniquement à créer « le meilleur joueur de … ». On cherche à créer quelque chose qui pourrait potentiellement apprendre à jouer à plusieurs jeux. Puis à comprendre une nouvelle situation. L’objectif n’est plus seulement de suivre une instruction comme « ouvre la carte » ou « va à gauche ». Il s’agit de décomposer des objectifs plus complexes, de raisonner sur les étapes nécessaires et de s’adapter à un environnement nouveau. Et c’est probablement là que les jeux de stratégie vont redevenir particulièrement intéressants, surtout ceux qui ne sont pas orientés optimisation de production. Ceux-là ne sont finalement qu’un gigantesque problème de planification sous contraintes (et là je sens le regard des puristes).
Sudden Strike offre un autre paradigme : des ressources limitées, des informations incomplètes, des objectifs contradictoires, un adversaire qui réagit, des décisions dont les conséquences peuvent apparaître plusieurs minutes plus tard. Soit le laboratoire parfait pour une intelligence artificielle capable de prendre des décisions.
Le futur ?
Si on arrête d’imaginer que l’on cherche de meilleurs adversaires (ce serait probablement la partie la moins intéressante), on pourrait revoir la manière dont nous interagissons avec les jeux. Aujourd’hui, nous donnons des ordres, souvent en chaîne. Demain, nous pourrions réfléchir en intentions, à la manière d’un briefing. Au lieu de sélectionner dix unités et de leur donner trois ordres successifs, je pourrais dire : « Sécurisez cette zone et préparez-vous à repousser une attaque. » Ce niveau-là d’intelligence du jeu nous fait passer d’un compagnon scripté à un véritable coéquipier capable de comprendre la situation et de discuter avec moi. La différence paraît anodine mais pour moi c’est le next level.
C’est finalement ce qui est assez amusant lorsque l’on y repense : il y a quelques années on imaginait surtout une machine capable de nous battre. Battre un humain à un jeu avec suffisamment de puissance de calcul, de données et d’entraînement était une démonstration impressionnante, c’est certain. Mais il y a une limite évidente : il faut toujours apprendre à la machine à jouer à ce jeu… et uniquement ce jeu.
Aujourd’hui, pour moi, le véritable enjeu est plutôt d’avoir une IA capable de comprendre un environnement qu’elle ne connaît pas, et surtout de comprendre ce que nous voulons faire. De construire un plan et l’adapter lorsque la situation change, mais surtout de travailler avec nous. À ce moment-là, pour moi, on aura enfin une IA qui fait partie du jeu.