Une IA l’accuse de vol, les employés obéissent : un innocent humilié et expulsé

À East Dulwich, dans le sud-est de Londres, un promoteur de spectacles comiques entre dans un Sainsbury’s pour acheter des fournitures destinées à une soirée. Matt Arnold, 46 ans, scanne ses articles et sa carte Nectar lorsque deux managers s’approchent pour lui annoncer qu’il ne peut pas être servi en raison d’un incident antérieur. Il est ensuite prié de quitter le magasin. Arnold refuse seulement d’être escorté jusqu’à la sortie, expliquant vouloir conserver un minimum de dignité. En quittant les lieux, il remarque sur un écran de vidéosurveillance une alerte entourant son visage d’un cercle rouge. Il vient d’être identifié à tort comme un voleur à l’étalage.

L’incident pourrait sembler presque absurde s’il ne soulevait pas une question beaucoup plus sérieuse. Sainsbury’s affirme que chaque correspondance générée par son système de reconnaissance faciale Facewatch est examinée par un manager formé. Pourtant, Arnold raconte que le personnel n’a manifesté aucun doute avant de lui demander de partir. À quoi sert alors le contrôle humain si l’alerte technologique finit, dans la pratique, par être traitée comme une décision à exécuter ?

« Il n’y a eu aucun temps de réflexion de la part du personnel, aucune suggestion qu’ils comprenaient que ce n’est pas ainsi qu’un voleur à l’étalage se comporterait. Ils suivaient aveuglément les ordres de la machine. »

Cette phrase d’Arnold résume le cœur du problème. Avant de partir, il avait demandé que ses courses restent dans le chariot afin qu’un ami puisse venir les payer et les récupérer pour la soirée organisée à proximité. Environ cinq minutes plus tard, son collègue Dave est effectivement entré dans le magasin, a payé les produits et est reparti avec eux. Pour Arnold, cette séquence aurait dû conduire le personnel à s’interroger sur l’accusation initiale. Elle ne l’a pas fait. L’alerte avait été produite, puis son traitement humain avait conduit à l’expulsion d’un client que le Guardian décrit comme ayant été identifié à tort.

Reconnaissance faciale : quand le contrôle humain devient une formalité

Sainsbury’s a présenté ses excuses à Arnold dès le lendemain et suspendu temporairement l’utilisation de Facewatch dans le seul magasin d’East Dulwich pendant son enquête. Le groupe affirme que l’incident résulte d’une « erreur humaine » et non de la technologie de reconnaissance faciale, dont il revendique un taux de précision de 99,98 %. Il précise également que chaque correspondance est examinée par un manager formé. Facewatch soutient de son côté que son système n’était pas en cause et qu’une alerte correcte avait été envoyée au magasin avant d’être mal gérée par le personnel.

Cette répartition des responsabilités mérite précisément d’être examinée. D’un côté, le Guardian rapporte qu’Arnold a été identifié à tort comme un voleur et expulsé. De l’autre, Sainsbury’s et Facewatch soutiennent que la technologie a correctement fonctionné et que l’erreur est intervenue dans le traitement humain de l’alerte. Le récit publié ne permet pas de connaître tous les détails techniques ayant conduit à cette situation. Mais le résultat est incontestable : un client innocent de l’incident qui lui était attribué a été humilié et chassé du magasin après le déclenchement du dispositif de reconnaissance faciale.

Le cas d’Arnold n’est d’ailleurs pas le premier rapporté avec Facewatch. En septembre précédent, Warren Rajah avait été expulsé d’un Sainsbury’s d’Elephant and Castle après avoir lui aussi été identifié à tort par le même logiciel. Le Guardian mentionne également des affaires comparables dans des magasins Home Bargains et B&M. Ces précédents posent une question qui dépasse donc le seul magasin d’East Dulwich : lorsqu’une technologie biométrique produit ou contribue à une identification erronée, quelles protections concrètes empêchent cette erreur de devenir immédiatement une sanction pour la personne concernée ?

« N’importe qui pourrait être faussement accusé, et à un moment donné, ce sera une personne vulnérable, quelqu’un ayant des problèmes de santé mentale comme l’anxiété. C’est inévitable. »

L’argument d’Arnold dépasse son expérience personnelle. Sainsbury’s met en avant un taux de précision de 99,98 %, mais un pourcentage élevé ne répond pas à la question du traitement des erreurs lorsqu’elles surviennent. Il ne dit pas davantage comment une personne injustement identifiée peut comprendre ce qui s’est passé, contester la décision ou empêcher qu’une situation similaire se reproduise. Dans un système de surveillance biométrique, la question essentielle n’est donc pas seulement celle de la précision moyenne annoncée, mais celle des garanties accordées à l’individu lorsqu’une identification conduit à tort à une intervention contre lui.

Suspendre un magasin ne répond pas au problème de fond

Arnold réclame désormais la suspension de Facewatch dans tous les magasins qui l’utilisent jusqu’à ce que son fonctionnement puisse être garanti. Il affirme que le système est centralisé et estime donc qu’un problème potentiel observé à East Dulwich peut également se présenter ailleurs, qu’il provienne de la technologie elle-même ou de la manière dont elle est utilisée. Sainsbury’s n’a pour l’instant suspendu le dispositif que dans ce magasin, à titre de précaution, pendant que le personnel reçoit une formation supplémentaire.

La réponse de l’enseigne repose donc sur trois éléments : des excuses, une suspension locale et davantage de formation. Mais l’incident laisse ouvertes des questions plus profondes que le seul comportement de quelques employés. Comment sont constituées les bases utilisées par ces dispositifs ? Selon quelles procédures une personne peut-elle contester une identification ? Quelle information reçoit-elle lorsqu’une alerte la concerne ? Le Guardian ne répond pas à ces questions dans son article. Pourtant, dès lors qu’une technologie biométrique peut conduire à l’intervention immédiate de responsables de magasin contre un individu, les mécanismes de contrôle, de contestation et de responsabilité deviennent aussi importants que les performances techniques annoncées.

Ces interrogations ne supposent pas de rejeter toute technologie de sécurité. Arnold lui-même explique qu’il n’aime pas la culture de surveillance tout en reconnaissant qu’elle peut parfois être nécessaire. Ce qu’il refuse, c’est que les machines produisent des décisions que les humains exécuteraient ensuite sans véritable examen critique. Son expérience donne une traduction concrète à cette inquiétude : il était venu acheter des fournitures pour une soirée de comédie et s’est retrouvé publiquement traité comme un voleur à la suite d’une alerte liée à un système de reconnaissance faciale.

La vraie question posée par cette affaire n’est donc pas seulement de savoir si un algorithme peut se tromper. Elle est de déterminer ce que deviennent le jugement humain et le droit de contester une accusation lorsqu’un système automatisé désigne une personne comme suspecte. Sainsbury’s assure précisément que des managers sont chargés de vérifier chaque correspondance. L’affaire Arnold montre pourquoi cette étape est essentielle et pourquoi elle ne peut pas devenir une simple formalité. Lorsqu’une technologie de surveillance s’installe dans les gestes les plus ordinaires de la vie quotidienne, l’erreur ne doit jamais suffire à transformer une alerte informatique en accusation incontestable.

Source : theguardian.com