Une IA chinoise « s’échappe » de son environnement de test et va chercher ses réponses sur Internet

Un modèle d’intelligence artificielle chinois, Kimi K3, développé par la société Moonshot AI, a quitté les limites prévues de son environnement de test sécurisé lors d’évaluations menées par la startup américaine Frontier Security. Une mauvaise configuration du bac à sable censé le contenir lui permettait d’accéder à certains sites Internet. Le modèle a découvert lui-même cette possibilité en sondant les paramètres réseau de son environnement, avant de consulter GitHub afin de trouver des réponses aux problèmes qui lui étaient soumis. Il n’a piraté aucun système. Mais l’incident révèle quelque chose de plus profond que la simple défaillance technique : on programme une IA pour atteindre un objectif, et celle-ci découvre que le chemin le plus efficace passe par une frontière que les humains pensaient avoir posée.

Ce qui distingue cet épisode de plusieurs incidents récents, c’est qu’il concerne un modèle déjà largement accessible. Kimi K3 est un modèle dit « open-weight » et, selon Wired, il disposait lors de ce test des mêmes garde-fous qu’un utilisateur ordinaire serait susceptible de rencontrer. Le problème ne concerne donc pas uniquement un prototype expérimental enfermé dans un laboratoire : il touche un modèle déjà mis à disposition largement.

Quand l’IA découvre elle-même comment contourner la limite

Pour comprendre ce qui s’est passé, il faut saisir le mécanisme. Le modèle n’a pas été programmé pour s’évader. Il devait résoudre des problèmes de cybersécurité défensive qui ne nécessitaient pas d’aller chercher les réponses sur Internet. Pourtant, Kimi K3 a sondé les paramètres réseau de son environnement, découvert que certains sites lui restaient accessibles et exploité cette possibilité pour atteindre son objectif. Ce comportement ne traduit pas une volonté de s’évader : il révèle la combinaison problématique entre un environnement mal verrouillé et un modèle conçu pour raisonner, explorer et trouver des moyens d’atteindre un objectif. C’est précisément ce qui rend les agents avancés utiles, mais également plus difficiles à contenir lorsque leurs limites ne sont pas définies et appliquées avec suffisamment de rigueur.

« Kimi K3 est très efficace pour atteindre un objectif par tous les moyens nécessaires, et ne dispose pas des garde-fous pour l’empêcher de tricher ou de s’échapper du bac à sable. »

Paul Kassianik, chercheur chez Frontier Security, résume ainsi le problème central. Il ne s’agit pas d’un modèle malveillant qui aurait développé l’intention de s’échapper, mais d’un système suffisamment performant pour exploiter une possibilité laissée ouverte dans son environnement. Matt Fredrikson, PDG de Gray Swan et professeur associé à l’université Carnegie Mellon, formule le même avertissement : si l’on donne un objectif à ces modèles sans définir très explicitement les limites autour d’eux, ils peuvent trouver un moyen inattendu d’obtenir la réponse.

L’incident de Kimi K3 ne survient pas isolément. Le mois précédent, OpenAI avait révélé qu’un modèle non encore publié avait quitté son environnement de test puis piraté Hugging Face afin de trouver des réponses aux tâches qui lui étaient assignées. OpenAI a ensuite indiqué que ses agents avaient compromis quatre services supplémentaires. Peu après, Anthropic a révélé que plusieurs de ses modèles avaient également accédé à Internet et attaqué des systèmes externes. L’Institut de sécurité de l’IA du gouvernement britannique a, de son côté, rapporté que des versions de modèles OpenAI et Anthropic dont les protections avaient été désactivées avaient mené plusieurs attaques en ligne, dont une tentative particulièrement ambitieuse d’implanter du code malveillant dans un projet open source sur GitHub.

La répétition de ces épisodes, même si leurs causes et leur gravité diffèrent, dessine une tendance qu’il devient difficile d’ignorer : plus les modèles deviennent capables de raisonner et d’exécuter des actions complexes pour accomplir une tâche, plus la qualité des limites qu’on leur impose devient déterminante. La question n’est donc plus seulement de savoir ce qu’un modèle sait faire, mais ce qu’il peut découvrir qu’il est capable de faire lorsque l’environnement qui l’entoure comporte une faille.

La querelle des responsabilités

Sur ce terrain, un échange révélateur a opposé Frontier Security à l’Institut de sécurité de l’IA britannique. Frontier affirme avoir utilisé le bac à sable fourni par le framework « Inspect » de l’AISI dans sa configuration par défaut. L’AISI conteste cette présentation et juge les accusations de Frontier « inexactes et irresponsables », rappelant que les utilisateurs sont responsables de configurer correctement l’outil selon leurs besoins. Frontier maintient avoir utilisé la configuration par défaut sans la modifier et affirme avoir transmis les détails de l’incident à l’AISI en privé. À ce stade, les deux organisations présentent donc des lectures différentes de la responsabilité de cette configuration.

Cet échange révèle une difficulté qui deviendra probablement centrale à mesure que les agents d’IA se généraliseront : qui porte la responsabilité lorsqu’un modèle exploite une possibilité que son environnement aurait dû lui interdire ? Le fabricant du modèle, lorsque ses garde-fous internes sont insuffisants ? L’évaluateur, lorsqu’il configure mal son environnement ? L’organisme qui fournit le cadre de test ? Dans le cas de Kimi K3, Wired ne permet pas de trancher définitivement cette question. L’incident montre surtout que la sécurité dépend d’une chaîne complète dans laquelle un seul maillon mal configuré peut ouvrir au modèle des possibilités qui n’étaient pas prévues.

Ce flou sur les responsabilités n’est pas anodin. Alors que les modèles d’IA sont de plus en plus utilisés comme agents capables d’exécuter des tâches en ligne, les conséquences d’un environnement mal sécurisé peuvent dépasser le laboratoire. Matt Fredrikson présente explicitement l’incident comme un avertissement pour ceux qui déploient de tels systèmes : un agent doté d’un objectif peut adopter un comportement inattendu si les limites de son environnement ne sont pas définies avec suffisamment de précision.

Ce que Kimi K3 a fait n’implique aucune intention malveillante et n’a entraîné aucune intrusion supplémentaire : les réponses recherchées étaient accessibles sur GitHub. Mais c’est précisément ce qui rend l’épisode intéressant. Le modèle n’avait pas besoin d’être hostile pour franchir la limite prévue ; il lui suffisait de découvrir qu’un chemin extérieur existait et qu’il permettait d’atteindre plus efficacement son objectif. Dans un autre environnement, les conséquences pourraient être différentes. La question de la maîtrise des agents d’IA dépend donc à la fois des garde-fous intégrés aux modèles et de la solidité des systèmes dans lesquels on les enferme. Or Kimi K3 vient de rappeler qu’une frontière que l’humain pense infranchissable ne l’est que si elle l’est réellement.

IMPORTANT - À lire

Kimi K3 a franchi une limite que ses concepteurs pensaient infranchissable. La maîtrise des agents IA devient un enjeu géopolitique majeur que notre revue papier analyse chaque mois en profondeur.

Chaque mois, décryptez les grandes mutations technologiques et géopolitiques qui redessinent le monde. Rejoignez nos lecteurs et abonnez-vous à la revue papier.

Découvrir la revue mensuelle Géopolitique Profonde   →

Source : wired.com