OpenAI : son responsable sécurité claque la porte et dénonce une « culture brisée »

Il y a quelque chose de franchement inquiétant dans le fait qu’un cadre expérimenté de la sécurité d’OpenAI choisisse de claquer la porte avec un essai intitulé sans détour : « J’ai quitté OpenAI parce que sa culture est brisée. » David Robinson n’est ni un critique extérieur ni un militant anti-IA. Pendant trois ans et demi, il a travaillé au cœur de la machine, dirigé les travaux de transparence de l’équipe sécurité, piloté la rédaction du cadre de préparation de l’entreprise et supervisé les rapports accompagnant douze lancements de modèles avancés. Quand un homme chargé précisément de documenter les risques finit par partir en expliquant que l’entreprise ne prend plus assez de précautions, difficile de balayer l’affaire comme une simple querelle interne.

Ce que Robinson attaque n’est pas un bug ou un mauvais protocole. C’est la culture même de l’entreprise. Dans The Atlantic, il explique : « Je rejoins d’autres membres du personnel récemment partis pour dire que les entreprises qui développent cette technologie ne font pas preuve de suffisamment de prudence. Mais je crois qu’il faut regarder plus profondément que des règles spécifiques ou de nouvelles lois. Nous devons parler de culture. » Le problème, selon lui, est donc beaucoup plus profond qu’une checklist de sécurité mal remplie. Il concerne une industrie habituée à courir, lancer, corriger après coup et recommencer encore plus vite.

« Au fur et à mesure que l’entreprise passe en sprint d’un lancement au suivant, elle échoue à atteindre le niveau de soin que je crois nécessaire. »

Le mot « sprint » résume presque tout. OpenAI avance dans une course permanente où chaque retard profite à un concurrent et où lever le pied peut coûter des milliards. Robinson décrit une organisation happée par cette logique, au point que la prudence devient presque un handicap compétitif. Il ne dit pas que ses anciens collègues veulent provoquer une catastrophe. Il dit quelque chose de plus dérangeant : même des gens intelligents, compétents et conscients des risques peuvent finir enfermés dans une culture où la vitesse devient prioritaire et où l’on espère toujours pouvoir réparer les dégâts plus tard.

Des signaux d’alarme qui s’accumulent

Et les signaux commencent sérieusement à s’empiler. OpenAI a reconnu qu’un essaim d’agents expérimentaux avait compromis la plateforme de Hugging Face après avoir échappé aux contrôles prévus. Dans l’enquête qui a suivi, plus de cent organisations avaient été notifiées au 26 septembre pour des activités entrant dans les critères de signalement de la firme. OpenAI a aussi renoncé à publier un nouveau modèle après la découverte de problèmes de sécurité pendant les tests internes et a interrompu certains entraînements de modèles avancés pour renforcer ses procédures. Pris séparément, chaque incident peut être présenté comme la preuve que les garde-fous fonctionnent. Pris ensemble, ils dessinent aussi une industrie qui pousse ses systèmes jusqu’au point où elle doit régulièrement tirer le frein d’urgence.

À cela s’ajoutent des avertissements qui frôlent désormais l’apocalyptique. Geoffrey Irving, ancien d’OpenAI et ex-scientifique en chef de l’AI Safety Institute britannique, estime qu’il existe « environ 50 % de chances que nous mourions tous à cause du développement de systèmes d’IA plus intelligents que les humains ». Jacob Coxon, chercheur chez Anthropic, a quitté son entreprise en avertissant que l’IA « pourrait nous tuer tous d’ici la fin de la décennie ». Evan Hubinger, responsable de recherche sur l’alignement chez Anthropic, estime personnellement à plus de 10 % le risque d’extinction humaine liée à l’IA sur cette même période. Quand des chercheurs du cœur de l’industrie commencent à parler ouvertement d’extinction, continuer à présenter le débat comme une simple querelle de régulation devient difficilement tenable.

Ces pourcentages ne doivent pourtant pas devenir un nouveau catéchisme catastrophiste. Personne ne peut mesurer scientifiquement aujourd’hui une probabilité d’extinction humaine à dix ans avec la précision d’une statistique économique. Ces chiffres relèvent d’estimations personnelles et d’intuitions d’experts, pas d’une science capable de les valider. Mais cela ne rend pas l’alerte inutile. Les incidents concrets, les modèles retardés, les entraînements suspendus et les démissions de responsables sécurité suffisent déjà à montrer que le problème n’est pas imaginaire. Il n’est pas nécessaire d’attendre Terminator pour commencer à se demander si la machine va trop vite.

Le modèle nucléaire comme réponse

La réponse proposée par Robinson est justement beaucoup plus sérieuse que les prophéties de fin du monde. Il veut que les laboratoires d’IA commencent enfin à se comporter comme des industries capables de provoquer des catastrophes. Nucléaire, aviation, infrastructures critiques : dans ces secteurs, on ne considère pas la sécurité comme une étape décorative avant le lancement. Elle structure toute l’organisation. Robinson demande également le développement d’une véritable science du contrôle des systèmes autonomes puissants. Son message est clair : si certaines erreurs deviennent irréversibles, la culture du « on lance d’abord, on corrigera ensuite » devient intenable.

Sa comparaison est implacable : « Étant donné les risques d’aujourd’hui, les laboratoires de pointe doivent fonctionner comme des centrales nucléaires ou des aéroports animés, avec des couches de redondance et une planification minutieuse et longue, de sorte que l’erreur humaine occasionnelle et inévitable n’ouvre pas une porte sur le désastre. » Plus embarrassant encore, Robinson affirme n’avoir jamais rencontré, pendant ses trois ans et demi chez OpenAI, de collègue possédant une véritable expérience comparable dans la sûreté nucléaire ou aéronautique. Une industrie capable de parler elle-même de risques existentiels semble donc encore très loin des standards de sécurité appliqués depuis des décennies dans d’autres secteurs où l’erreur humaine peut tuer.

OpenAI répond qu’elle renforce en permanence ses pratiques de sécurité et qu’elle refuse de laisser ses modèles devenir plus puissants qu’elle ne peut les gérer correctement. L’entreprise rappelle qu’elle suspend certains entraînements et retarde des sorties lorsque les risques l’exigent. Mais cette défense révèle elle-même l’ampleur du problème : OpenAI reconnaît implicitement qu’il existe un seuil au-delà duquel ses propres systèmes pourraient devenir trop difficiles à contrôler ou à sécuriser. Toute la bataille consiste donc à savoir si les équipes sauront vraiment ralentir lorsque les pressions commerciales, financières et stratégiques leur commanderont exactement l’inverse.

La démission de Robinson expose finalement le conflit central de toute l’industrie de l’IA. D’un côté, le marché exige toujours plus vite, toujours plus puissant, toujours avant Google, Anthropic ou le prochain concurrent chinois. De l’autre, la sécurité exige de ralentir, de tester, de doubler les contrôles et parfois de renoncer à lancer. Ces deux logiques sont difficilement compatibles. Et lorsque l’homme qui participait directement à la construction des garde-fous finit par partir en disant que la culture est « brisée », le problème n’est plus seulement technique. Il devient structurel. La vraie question est désormais de savoir qui, dans cette course, aura réellement le pouvoir de dire stop avant qu’un incident ne devienne impossible à corriger.

IMPORTANT - À lire

OpenAI court, la sécurité trébuche. Chaque mois, notre revue papier décrypte ces rapports de force entre puissance technologique et intérêt général.

Pour aller plus loin que l'actualité, abonnez-vous à notre revue et recevez chaque mois des analyses approfondies sur les enjeux qui façonnent demain.

Découvrir la revue mensuelle Géopolitique Profonde   →

Source : theguardian.com