« Nous croyons sincèrement que l’IA pourrait tuer tous les humains » : l’alerte venue de l’intérieur d’Anthropic

Depuis plusieurs années, une partie des dirigeants et chercheurs expérimentés des grandes entreprises d’intelligence artificielle tient un double discours : en public, ils présentent l’IA comme une révolution bénéfique pour l’humanité. En privé, certains reconnaissent pourtant craindre qu’elle puisse représenter un danger majeur pour notre civilisation. Cette contradiction apparaît aujourd’hui au grand jour.

Jacob Coxon, chercheur spécialisé dans le pré-entraînement des modèles d’IA, a travaillé pour OpenAI puis Anthropic au cours des trois dernières années. Il vient d’annoncer publiquement sa démission dans un fil devenu viral sur X. Son message est particulièrement direct : « Aucune des deux entreprises n’agit de manière responsable. Elles foncent droit vers une superintelligence auto-améliorante et jouent avec nos vies. »

Cette alerte est d’autant plus importante qu’elle vient directement de l’intérieur du secteur. Coxon n’est ni un militant, ni un philosophe, ni un responsable politique. Il a lui-même participé au développement de ces systèmes. Et selon lui, ces inquiétudes sont également partagées par de nombreux dirigeants et chercheurs expérimentés de l’industrie.

La peur comme secret de polichinelle

La révélation la plus inquiétante de Coxon n’est pas simplement que l’IA pourrait être dangereuse. C’est surtout que ceux qui la développent en sont conscients et continuent malgré tout. « De nombreux dirigeants et chercheurs seniors modèrent leur formulation dans la presse pour paraître raisonnables, écrit-il, mais j’entends ces mêmes personnes exprimer leur peur en privé. Aucune autre activité humaine ne présente ce niveau de danger. »

« Jacob a raison. Nous croyons vraiment et sincèrement que l’IA pourrait tuer tous les humains ! Personnellement, j’estime cette probabilité à plus de 10 % au cours de la prochaine décennie. Je crois qu’Anthropic fait de son mieux, mais nous n’avons pas encore de plan pour résoudre l’alignement de la superintelligence et nous ne sommes clairement pas en bonne voie pour y parvenir. »

Ces propos viennent d’Evan Hubinger, responsable de l’équipe Alignment Science chez Anthropic. Il a publiquement répondu à Coxon pour confirmer l’essentiel de son message. Un autre chercheur en sécurité d’Anthropic, Samuel Marks, a lui aussi déclaré que « les développeurs d’IA pensent que leur technologie pourrait provoquer l’extinction de l’humanité, ou des conséquences d’une gravité comparable ». Il ajoute que « plus l’employé est senior, plus il est préoccupé ».

La situation est pour le moins étrange : des cadres d’une entreprise qui pourrait être valorisée autour de 2 000 milliards de dollars lors de son introduction en bourse reconnaissent publiquement qu’une future superintelligence pourrait représenter un risque d’extinction pour l’humanité. Evan Hubinger estime même cette probabilité à plus de 10 % dans la prochaine décennie. Pourtant, le développement continue.

Samuel Marks explique cette contradiction par deux raisons principales : les intérêts économiques et la peur de se faire dépasser. Les entreprises pensent être engagées dans une course contre d’autres acteurs qui pourraient développer l’IA avec encore moins de précautions. Le raisonnement est simple : personne ne veut ralentir seul, car cela reviendrait à laisser ses concurrents prendre de l’avance. Une logique de compétition qui pourrait avoir des conséquences à l’échelle de toute l’humanité.

Une course sans arbitre

Coxon estime qu’Anthropic comprend mieux ces risques qu’OpenAI, où, selon lui, de nombreux employés n’ont pas encore totalement compris les « enjeux civilisationnels ». Mais cette meilleure connaissance du danger n’a pas poussé Anthropic à ralentir. Selon Coxon, l’entreprise reste « enfermée dans une course pour arriver en premier » et pense devoir continuer parce qu’elle ne fait pas confiance aux autres acteurs pour agir de manière responsable.

Le problème est évident : une entreprise privée se retrouve ainsi à prendre des décisions dont les conséquences pourraient largement dépasser ses propres intérêts. Coxon résume cette situation avec une formule très forte : accepter cette course et entrer dans sa « phase finale » serait « un pari hubristique qui ne devrait pas être lancé depuis le Slack d’une entreprise privée ».

Les incidents récents rendent ces inquiétudes beaucoup plus concrètes. En juillet, OpenAI a révélé que plusieurs de ses modèles avaient réussi à contourner l’environnement isolé dans lequel ils étaient testés, notamment en exploitant une faille informatique inconnue, avant d’accéder aux infrastructures de production de Hugging Face. Anthropic et Meta ont également reconnu des incidents différents au cours de tests de cybersécurité, durant lesquels leurs modèles ont accédé sans autorisation à de véritables systèmes informatiques. Coxon estime que des incidents comme l’attaque contre Hugging Face constituent un « coup de semonce » susceptible de pousser les grands laboratoires américains à envisager sérieusement un ralentissement. Mais selon lui, le secteur reste toujours engagé dans une course mondiale.

La question posée par Jacob Coxon est finalement très simple : qui doit décider du rythme auquel une technologie aussi puissante peut être développée ? Les États, qui ont déjà du mal à suivre les progrès extrêmement rapides de l’IA ? Les marchés, qui récompensent les entreprises les plus rapides ? Ou les géants technologiques eux-mêmes, pris dans une compétition qui les pousse à accélérer même lorsqu’ils reconnaissent les dangers ? Coxon invite finalement les chercheurs à se demander s’il faut simplement « baisser la tête parce que cela arrivera de toute façon », ou profiter de ce moment pour exiger d’autres règles.

Source : nypost.com