Les grands mod\u00e8les de langage (LLM) comme Claude d’Anthropic impressionnent par leur capacit\u00e9 \u00e0 converser, \u00e0 g\u00e9n\u00e9rer du texte et m\u00eame \u00e0 \u00e9crire du code. Cependant, des exp\u00e9riences parfois ludiques r\u00e9v\u00e8lent leurs limitations actuelles en mati\u00e8re de compr\u00e9hension du monde r\u00e9el, de suivi d’instructions implicites ou d’interaction avec des syst\u00e8mes externes complexes. L’anecdote des difficult\u00e9s IA Claude pour faire \u00e9voluer un Pok\u00e9mon<\/a> illustre de mani\u00e8re amusante mais instructive ces fronti\u00e8res : malgr\u00e9 sa vaste connaissance textuelle de l’univers Pok\u00e9mon, demander \u00e0 Claude de \u00ab\u00a0faire \u00e9voluer\u00a0\u00bb un Pok\u00e9mon sp\u00e9cifique dans le cadre d’une interaction simul\u00e9e ou r\u00e9elle se heurte \u00e0 des obstacles fondamentaux li\u00e9s \u00e0 la nature m\u00eame de ces IA.<\/p> L’univers Pok\u00e9mon poss\u00e8de des r\u00e8gles de jeu bien d\u00e9finies, notamment en ce qui concerne l’\u00e9volution des cr\u00e9atures. Un Pok\u00e9mon \u00e9volue g\u00e9n\u00e9ralement en atteignant un certain niveau d’exp\u00e9rience (acquis par les combats), en utilisant une pierre d’\u00e9volution sp\u00e9cifique, en \u00e9tant \u00e9chang\u00e9, ou en remplissant d’autres conditions particuli\u00e8res (niveau de bonheur, moment de la journ\u00e9e, etc.). Ces r\u00e8gles font partie de la \u00ab\u00a0connaissance du monde\u00a0\u00bb que l’on attendrait d’un joueur humain ou d’une IA charg\u00e9e de simuler ce jeu. Les LLM comme Claude ont acc\u00e8s \u00e0 d’\u00e9normes quantit\u00e9s de textes d\u00e9crivant ces r\u00e8gles (guides de jeu, discussions de fans, encyclop\u00e9dies Pok\u00e9mon en ligne). Ils \u00ab\u00a0savent\u00a0\u00bb donc, textuellement, qu’un Pikachu \u00e9volue en Raichu avec une Pierre Foudre.<\/p> Pourquoi alors Claude rencontrerait-il des difficult\u00e9s \u00e0 \u00ab\u00a0faire \u00e9voluer\u00a0\u00bb un Pok\u00e9mon si on le lui demandait ? Les raisons sont multiples et touchent aux limites fondamentales des LLM actuels :<\/p>Le contexte : l’univers Pok\u00e9mon et ses r\u00e8gles<\/h3>
Les difficult\u00e9s rencontr\u00e9es par Claude (hypoth\u00e9tiques)<\/h3>
Ce que cela r\u00e9v\u00e8le sur l’IA actuelle<\/h3>