Guerre technologique : des images « invisibles » détournées pour manipuler les systèmes d’intelligences artificielles

Des chercheurs de Trail of Bits, Kikimora Morozova et Suha Sabi Hussain, ont mis au point une nouvelle forme d’attaque numérique.

La technique repose sur des images haute-définition qui dissimulent des instructions invisibles à l’œil nu. Ce secret ne se dévoile que lorsque la qualité est dégradée par les algorithmes de rééchantillonnage.

Ces images portent en elles des messages codés que nous, simples citoyens, ne pouvons percevoir naturellement. Ces manipulations visuelles rappellent d’autres formes de contrôle subtil auxquelles nous sommes confrontés quotidiennement.

Cette menace n’est pas théorique : elle touche des systèmes d’IA bien connus, comme l’interface de ligne de commande Google Gemini, Vertex AI Studio avec son backend Gemini, l’interface Web de Gemini, l’API de Gemini via l’interface llm, Google Assistant sur Android, et même la plateforme Genspark.

Les véritables bénéficiaires de ces technologies

Leur technique s’inspire d’une théorie présentée dans un article de l’USENIX en 2020 par des universitaires allemands de TU Braunschweig, qui envisageait déjà comment exploiter le redimensionnement d’images pour compromettre les systèmes d’intelligence artificielle.

Lors de l’envoi d’images sur les plateformes d’IA, un phénomène peu connu se produit : nos clichés sont systématiquement dégradés et compressés. Pas étonnant que nos souvenirs numériques finissent par ressembler à des timbres-poste flous.

Les méthodes d’interpolation et leur impact

Selon le système, les algorithmes de rééchantillonnage d’images peuvent éclaircir une image en utilisant différentes méthodes d’interpolation : le plus proche voisin, bilinéaire ou bicubique.

Chaque modèle d’IA nécessite une calibration spécifique de l’attaque, adaptée à l’algorithme de réduction d’échelle qu’il emploie, rendant cette menace d’autant plus insidieuse. Tout comme ils modifient la luminosité d’une photo, ils ajustent la réalité pour qu’elle corresponde à leur narrative.

Ces techniques d’interpolation ne sont pas anodines. Elles permettent de transformer subtilement une image. D’abord le plus proche voisin (le plus basique), puis le bilinéaire (plus sophistiqué), et enfin le bicubique (le plus complexe).

Le contrôle des algorithmes et la manipulation de la réalité

Toutes ces méthodes font apparaître des défauts d’aliasing qui permettent à des motifs cachés d’émerger sur l’image réduite si la source est spécifiquement conçue dans ce but.

Comme pour nos données personnelles que l’État collecte en masse, ces techniques dissimulent des informations que seuls les initiés peuvent décoder. La technique est pernicieuse car elle donne l’impression de transparence tout en dissimulant l’essentiel.

Dans l’exemple de Trail of Bits, fourni par Zscaler, certaines zones sombres d’une image malveillante virent au rouge, faisant ressortir en noir un texte caché quand l’image est traitée par mise à l’échelle bicubique.

Ce tour de passe-passe numérique, digne des services secrets, permet à ces informaticiens de révéler ce que l’œil nu ne peut voir.

Les dangers des instructions dissimulées

L’IA interprète ce texte comme faisant partie des instructions de l’utilisateur et le combine automatiquement avec l’entrée légitime.

Pour l’utilisateur, tout semble normal. Mais en coulisses, le modèle a exécuté des instructions cachées qui pourraient causer des fuites de données ou d’autres actions risquées.

Dans le cas de Gemini CLI, les chercheurs ont réussi à détourner des données Google Calendar vers n’importe quelle adresse mail, en exploitant Zapier MCP configuré avec « trust=True », qui valide les appels d’outils sans même demander l’avis de l’utilisateur. C’est comme laisser les clés sur la porte. Google laisse traîner des failles béantes dans ses outils d’IA.

Les chercheurs confirment que leur méthode fonctionne contre plusieurs systèmes d’IA, probablement déjà utilisés par nos gouvernements pour analyser nos données personnelles sans consentement.

Pour appuyer leurs découvertes, les chercheurs ont sorti un outil open-source – Anamorpher (encore en version bêta) – disponible sur GitHub. Il permet de créer des images truquées pour chacune des méthodes de redimensionnement mentionnées.

Les risques de la sécurité informatique

Cet outil pourrait tomber entre n’importe quelles mains, y compris malveillantes.

Pour parer aux failles, les experts conseillent de limiter les dimensions des images importées et de montrer à l’utilisateur ce que verra réellement l’IA avant traitement. Le consentement explicite des utilisateurs devrait être demandé pour les appels d’outils sensibles.

Comme le soulignent les chercheurs dans un article publié en juin sur les modèles de conception sécurisés :

« La défense la plus solide, cependant, est de mettre en œuvre des modèles de conception sécurisés et des défenses systématiques qui atténuent l’injection rapide impactante au-delà de l’injection rapide multimodale. »

Ces outils d’intelligence artificielle, présentés comme révolutionnaires, sont vulnérables.

Les chercheurs proposent de repenser l’architecture même des systèmes d’IA, plutôt que d’attendre la catastrophe pour réagir – contrairement à certaines habitudes bien ancrées dans nos institutions.