L’IA surpasse les champions humains dans le jeu vidéo Gran Turismo

Pour parcourir la ligne de course la plus rapide sans perdre le contrôle, les pilotes de voitures de course doivent freiner, diriger et accélérer dans des séquences chronométrées avec précision. Le processus dépend des limites de frottement et est régi par des lois physiques connues – ce qui signifie que les voitures autonomes peuvent apprendre à se déplacer aussi vite que possible (comme certaines l’ont déjà fait). Cependant, cela devient un problème beaucoup plus compliqué lorsque le conducteur automatisé doit partager l’espace avec d’autres voitures. Les scientifiques ont maintenant pratiquement résolu le défi en s’entraînant à un programme d’intelligence artificielle pour surpasser les concurrents humains dans le jeu de course ultra-réaliste Gran Turismo Sport. Les résultats pourraient conduire les chercheurs en voitures autonomes à de nouvelles façons de faire fonctionner cette technologie dans le monde réel.

L’intelligence artificielle a déjà conquis les joueurs humains dans certains jeux vidéo, comme Starcraft II et Dota 2. Mais Gran Turismo est très différent des autres jeux, explique Peter Wurman, directeur de Sony AI America et co-auteur d’une nouvelle étude. Publié dans Nature. “Dans la plupart des jeux, l’environnement fixe les règles et protège les utilisateurs les uns des autres”, explique-t-il. “Mais en course, les voitures sont très proches les unes des autres et il y a un sens très raffiné de l’étiquette qui doit être appris et utilisé. [AI] agents. Pour gagner, ils doivent respecter leurs adversaires, mais ils doivent aussi maintenir leurs routes et s’assurer qu’ils ne cèdent pas simplement.

Pour enseigner le volume de leur programme, les chercheurs de Sony AI ont utilisé une technique appelée apprentissage par renforcement profond. Ils ont récompensé l’intelligence artificielle pour certains comportements, comme rester sur la piste, garder le contrôle du véhicule et suivre l’étiquette de course. Ils ont ensuite publié le programme pour essayer différentes méthodes de course pour atteindre ces objectifs. L’équipe d’intelligence artificielle de Sony a formé plusieurs versions différentes de l’IA, appelées Gran Turismo Sophy (GT Sophy), chacune spécialisée dans la conduite de certains types de voitures sur une piste spécifique. Les chercheurs ont ensuite comparé le programme aux champions de Gran Turismo. Lors du premier test, effectué en juillet de l’année dernière, les personnes ont obtenu le score global le plus élevé de l’équipe. Dans une deuxième tentative en octobre 2021, l’intelligence artificielle a percé. Il a vaincu ses ennemis humains à la fois individuellement et en équipe, réalisant les temps au tour les plus rapides.

Les joueurs humains semblent avoir encaissé leurs pertes sereinement, et certains ont apprécié l’opposition de leur esprit à l’intelligence artificielle. “Certaines des choses que nous avons entendues des dirigeants étaient qu’ils avaient également appris de nouvelles choses grâce aux manœuvres de Sophy”, explique Erica Kato Marcus, directrice des stratégies et des partenariats chez Sony AI. “L’autre ligne utilisée par l’IA était si compliquée que je pourrais probablement la faire une fois. Mais c’était si difficile – je ne l’essayerais jamais en course”, déclare Emily Jones, qui était une Gran Turismo certifiée FIA. Finaliste du Championnat du monde 2020 et a ensuite remporté la GT Bien que Jones affirme que la compétition avec l’intelligence artificielle l’a fait se sentir un peu faible, il décrit l’expérience comme impressionnante.

Voitures Gran Turismo Sports. Crédit : Sony Interactive Entertainment

“La course, comme de nombreux sports, consiste à se rapprocher le plus possible d’un tour parfait, mais on n’y arrive jamais vraiment”, déclare Jones. “C’était fou de voir quelque chose qui était avec Sophy parfait dans les genoux. Il n’y avait pas moyen d’aller plus vite. »

L’équipe de Sony développe actuellement l’intelligence artificielle. “Nous avons formé un agent pour chaque combinaison voiture-piste, la version GT Sophy”, explique Wurman. “Et une chose que nous examinons est la suivante : pouvons-nous former une politique unifiée qui fonctionne pour n’importe quelle voiture sur n’importe quelle piste du jeu ?” Sur le plan commercial, Sony AI travaille également avec le développeur de Gran Turismo Polyphony Digital, une filiale de Sony Interactive Entertainment, pour potentiellement inclure une version du GT Sophy dans une future mise à jour du jeu. Pour ce faire, les scientifiques devraient modifier les performances de l’intelligence artificielle pour en faire un adversaire difficile, mais pas invincible – même pour les joueurs moins habiles que les maîtres qui ont testé l’IA jusqu’à présent.

Étant donné que Gran Turismo fournit une estimation réaliste de voitures et de circuits spécifiques et des paramètres physiques uniques qui les régissent, cette recherche peut avoir des applications au-delà des jeux vidéo. “Je pense que l’une des parties intéressantes qui le distinguent du jeu Dota est d’être dans un environnement basé sur la physique”, déclare Brooke Chan, ingénieur logiciel et co-auteur du jeu pour la recherche sur l’IA. Un projet OpenAI Five qui a conquis les gens de Dota 2. “Ce n’est pas dans le monde réel, mais il peut toujours imiter le monde réel, donc nous entraînons l’intelligence artificielle pour comprendre un peu plus le monde physique.” (Chan n’a pas participé à l’étude GT Sophy.)

“Gran Turismo est un très bon simulateur – il est gamifié à certains égards, mais il représente vraiment une grande partie de la différence entre différentes voitures et différentes pistes”, déclare J. Christian Gerdes, professeur à l’Université de Stanford. génie mécanique, qui n’a pas participé à la nouvelle étude. “Je pense que c’est la chose la plus proche de quiconque publie un article qui dit que l’intelligence artificielle peut interagir avec les gens dans un environnement de course.”

Cependant, tout le monde n’est pas entièrement d’accord. “Dans le monde réel, vous devez faire face à des choses comme les cyclistes, les piétons, les animaux, les choses qui tombent des camions et tombent sur la route que vous devez pouvoir éviter, le mauvais temps, les pannes de véhicules – des choses comme ça”, a-t-il déclaré. dit. Steven Shladover, ingénieur de recherche, California Partners for Advanced Transportation Technology (California PATH), Université de Californie, Berkeley Institute for Transportation Research, qui n’a pas non plus participé Nature papier. “Aucune de ces choses n’apparaît dans le monde du jeu.”

Mais Gerdes affirme que le succès de la GT Sophy pourrait encore être bénéfique, car il modifie certaines hypothèses sur la programmation des voitures autonomes. Un véhicule automatisé peut prendre des décisions basées sur les lois de la physique ou sur la formation de l’intelligence artificielle. “Si vous regardez ce qu’il y a dans la littérature – et dans une certaine mesure ce sur quoi les gens se sont lancés – l’optimisation des planificateurs de mouvement est davantage basée sur la physique, et les parties de la perception et de la prédiction sont l’IA”, déclare Gerdes. Dans le cas de GT Sophy, cependant, la planification du mouvement de l’intelligence artificielle (par exemple, décider comment aborder une courbe à la limite supérieure de ses performances sans provoquer de crash) était basée sur le côté intelligence artificielle de la formule. “Je pense que la leçon pour les développeurs de voitures automatisées est la suivante : voici le point qu’il peut y avoir certains de nos préjugés – que certaines parties du problème sont mieux résolues en physique”, dit-il. “L’IA peut y jouer aussi.”

Gerdes souligne également que la réalisation de GT Sophy peut fournir des leçons pour d’autres domaines où les personnes et les systèmes automatisés interagissent. Chez Gran Turismo, il souligne que l’intelligence artificielle doit équilibrer la difficulté d’obtenir l’itinéraire le plus rapide sur la piste avec la difficulté de communiquer en douceur avec des personnes souvent imprévisibles. “Si nous avons un système d’IA capable de prendre des décisions complexes dans cet environnement, il peut être mis en œuvre – non seulement pour le contrôle automatique”, explique Gerdes, “mais aussi pour les interactions telles que la chirurgie assistée par robot ou les machines qui aident à la maison. Si vous avez une tâche où un humain et un robot travaillent ensemble pour déplacer quelque chose est à certains égards beaucoup plus compliqué qu’un robot essayant de le faire lui-même.

La version de cet article intitulée « AI Champions » a été adaptée pour être incluse dans le numéro de mai 2022. Un scientifique américain.

Leave a Comment