La technologie s’immisce toujours plus profondément dans nos vies. Elle a pris une part prépondérante dans la gestion des prestations sociales. Aujourd’hui, l’utilisation d’algorithmes pour gérer les systèmes d’aide sociale soulève de sérieuses interrogations. Cette évolution, présentée initialement comme une solution pour optimiser la distribution des ressources et lutter contre la fraude, révèle aujourd’hui ses limites et ses dangers. Ce problème se pose bien au-delà ce qui se passe en France. Tous les pays qui font appel aux algorithmes pour gérer les prestations et le suivi des allocataires sont concernées. Plusieurs scandales ont éclaté mais cela est insuffisamment connu.
L’automatisation des contrôles : une discrimination systémique
Dans les couloirs des administrations, les destins se jouent désormais à coups de lignes de code. Aux États-Unis, le système automatisé MiDAS a semé le chaos dans la vie de plus de 40.000 personnes, les accusant à tort de fraude. Un désastre qui a coûté 20 millions de dollars aux contribuables dans l’État du Michigan.
L’affaire remonte à 2013. Le Michigan Integrated Data Automated System (MiDAS) avait été déployé à partir d’un investissement de 47 millions de dollars censé moderniser la gestion des allocations chômage. Ce qui s’ensuivit fut l’une des plus grandes catastrophes administratives de l’histoire récente des États-Unis.
Entre octobre 2013 et août 2015, MiDAS a généré plus de 60.000 accusations de fraude avec un taux d’erreur stupéfiant de 93%. Au total, 40.000 Michiganders avaient été injustement accusés de fraude, un chiffre qui dépassait le nombre total de cas de fraude traités dans les deux décennies précédentes.
Le système ne se contentait pas d’accuser : il imposait des sanctions financières dévastatrices. Les personnes étiquetées comme « fraudeurs » devaient non seulement rembourser l’intégralité des allocations perçues, mais également une pénalité de 400%, sans compter les intérêts. En à peine un an, le fonds des pénalités et intérêts de l’État est passé de 3 millions à plus de 69 millions de dollars.
Plus troublant encore, l’État avait délibérément réduit son personnel au profit de l’automatisation. Le système fonctionnait sans aucune supervision humaine, envoyant des questionnaires via une boîte mail électronique que les bénéficiaires ne consultaient pas suffisamment à temps, leur donnant seulement 10 jours pour répondre avant de déclencher automatiquement des procédures de recouvrement.
Face au scandale, l’État du Michigan avait dû verser plus de 20 millions de dollars de dédommagements. Mais pour de nombreuses familles, le préjudice fut irréparable. Certains ont dû déclarer faillite, d’autres ont perdu leur maison ou vu leurs salaires saisis pendant des années. Les procédures judiciaires se poursuivent encore aujourd’hui, laissant des milliers de victimes dans l’attente d’une réparation complète.
Cette débâcle a conduit le Michigan à abandonner son système de 47 millions de dollars pour en développer un nouveau, estimé à 78 millions. En 2017, l’État a été contraint par la loi d’exiger que toutes les déterminations de fraude soient désormais effectuées manuellement, marquant la fin d’une expérience désastreuse d’automatisation sans contrôle.
Pour aller plus loin :
- Les systèmes automatisés des États piègent des citoyens dans des cauchemars bureaucratiques | Time
- Automated Stategraft: Faulty Programming and Improper Collections in Michigan’s Unemployment Insurance Program | Wisconsin Law Review
Aux États-Unis, les autorités de San José, une ville située au cœur de la Silicon Valley, ont entraîné une intelligence artificielle à reconnaître les tentes et les voitures dans lesquelles vivent des personnes sans-abris. Selon les experts, il s’agit de la première utilisation de ce type aux États-Unis. Sur place, les travailleurs sociaux craignent que la technologie soit utilisée pour punir et expulser les personnes sans domicile fixe à San José.
En France, l’utilisation d’algorithmes pour détecter les fraudes aux allocations familiales illustre lui aussi cette problématique. Le système attribue des scores de risque basés sur des critères tels que les faibles revenus, le chômage ou encore la situation familiale. Cette approche automatisée tend à contrôler davantage les populations déjà vulnérables, considérées comme de potentielles fraudeuses.
Ce système perpétue ainsi un maintien des plus fragiles dans la précarité. Alors certes, nous n’en sommes pas à la situation du Michigan il y a 10 ans. Mais les témoignages affluent. Ils montrent comment certains allocataires de CAF sont prisonniers d’un système bureaucratique qui leur retire tout subside.
Les Dérives du Système SyRi aux Pays-Bas
L’exemple néerlandais est tout autant édifiant. Le système SyRi, déployé pour identifier les fraudes à l’aide sociale, a conduit à des discriminations basées sur le revenu et l’origine ethnique, avant d’être finalement interdit par la justice en 2020. Cette expérience malheureuse démontre comment l’automatisation peut amplifier les inégalités existantes plutôt que les réduire. Déployé en 2014 dans plusieurs quartiers défavorisés de Rotterdam et d’Amsterdam, ce système automatisé avait pour mission officielle d’optimiser la détection des fraudes aux prestations sociales.
L’analyse du fonctionnement de SyRi a révélé une mécanique implacable de profilage social. Le système reposait sur un arbre de décision comportant pas moins de 500 questions binaires, créant des parcours d’évaluation radicalement différents selon le profil des personnes. Les femmes, par exemple, étaient principalement jugées sur leur situation familiale, tandis que les hommes étaient évalués sur leurs compétences linguistiques et leur situation financière.
Les données d’entraînement du système présentaient des déséquilibres flagrants. L’enquête menée par Wired et Light House Reports a mis en lumière une surreprésentation alarmante de certains groupes sociaux. Plus troublant encore, une femme présentant un profil quasi identique à celui d’un homme sur 307 variables sur 315 se voyait attribuer un score de risque trois fois plus élevé.
À Rotterdam, sur les 30.000 bénéficiaires d’aides sociales, plusieurs milliers de personnes étaient annuellement ciblées par l’algorithme pour des enquêtes approfondies. En 2019, ce système a conduit à 2.400 sanctions, allant de simples amendes à la suppression totale des prestations sociales. En 2022, près d’un quart des contentieux nationaux en matière d’aide sociale provenaient de cette seule ville.
L’expérience de Rotterdam révèle les limites des systèmes de scoring. Avec ses 54 variables basées sur des évaluations subjectives, l’algorithme transforme des observations nuancées en données binaires, perdant ainsi toute la complexité des situations individuelles.
« Selon l’algorithme, une femme qui ne diffère d’un profil masculin que sur 8 des 315 variables, est trois fois plus susceptible d’être signalée comme fraudeur. “L’écart entre leurs deux scores, bien qu’ils aient des données qui se chevauchent pour la plupart, découle de la façon dont la machine établit des liens entre certains traits.” Même constat sur le profil du migrant qui ne parle pas néerlandais. »
Face à cette situation, un regroupement d’organisations de la société civile et de syndicats a porté l’affaire devant les tribunaux. En février 2020, la justice néerlandaise avait finalement ordonné l’arrêt immédiat du système SyRi, qualifié par l’ONU d' »État de surveillance contre les pauvres ». Cette décision historique a créé un précédent juridique majeur, inspirant des recours similaires en Grande-Bretagne et en Australie.
Cette affaire résonne étrangement avec ce qui se passe ici en France. Chez nous aussi un collectif d’associations se mobilise et a saisi le Conseil d’Etat sur ce même sujet.
Pour aller plus loin :
- Dans la machine à suspicion : des limites des systèmes de scoring de l’aide sociale à Rotterdam | Hubert Guillaud
- Les Pays-Bas contraints d’abandonner leur algorithme pour détecter la fraude à l’aide sociale | Heidi News (presse Suisse)
Le cas Serbe : une modernisation aux conséquences désastreuses
En mars 2022, la Serbie lance avec grand bruit son registre des cartes sociales, un système automatisé financé par la Banque mondiale et présenté comme une révolution dans la gestion des aides sociales. Cette plateforme numérique, qui analyse 130 catégories de données personnelles différentes, devait initialement rendre le système plus équitable et efficient. Amnesty International a étudié et révélé ce qui s’est passé. Le système collectait et croisait (comme en France) des informations sensibles : revenus, âge, composition familiale, état de santé, situation professionnelle. Cette surveillance numérique intrusive s’est rapidement transformée en machine à exclure. En à peine un an et demi d’exploitation, des milliers de personnes vivant dans une pauvreté extrême ont vu leurs allocations réduites ou totalement supprimées.
Les communautés roms et les personnes en situation de handicap ont été particulièrement touchées par cette automatisation de la gestion des aides. L’histoire de Mirjana recueillie par Amnesty illustre parfaitement cette dérive : après avoir reçu une aide ponctuelle de 170 euros pour les funérailles de sa fille, l’algorithme a automatiquement considéré cette somme comme un revenu régulier, la privant instantanément de ses prestations sociales mensuelles.
Pour des sous titres en français ouvrez la vidéo sur YouTube et choisissez traduction dans les paramètres
Comme pour la France, le processus décisionnel – en Serbie celui du registre des cartes sociales – manque cruellement de transparence. Les autorités serbes n’ont jamais publié d’informations détaillées sur la technologie utilisée, rendant impossible tout contrôle démocratique. Plus inquiétant encore, une fois les données saisies dans le système, elles deviennent pratiquement impossibles à modifier, créant un véritable parcours du combattant pour les personnes injustement exclues.
En Grande-Bretagne, la pandémie de Covid-19 avait servi de révélateur. L’utilisation d’un algorithme pour calculer les résultats d’examens a défavorisé les élèves issus d’établissements moins prestigieux. Cette situation nous montre comment ces systèmes peuvent perpétuer, voire renforcer, les inégalités sociales existantes. Cela conduit à se poser la question : qu’en est-il pour Parcoursup, la plateforme d’accès à l’enseignement supérieur dans notre pays ?
Pour aller plus loin
Un modèle qui se propage
Ce système de notation controversé n’est pas un cas isolé. La Banque mondiale promeut activement des registres similaires dans d’autres pays, notamment en Jordanie, au Liban, en Haïti, au Nigeria et au Maroc. Dans chacun de ces pays, des effets d’exclusion comparables ont été constatés, suggérant un problème systémique dans cette approche de la modernisation de la gestion des prestations sociales.
Face à ces constats, une refonte des systèmes de protection sociale s’impose. Il est essentiel de maintenir un équilibre entre l’efficacité administrative et le respect des droits fondamentaux. Les technologies doivent être utilisées comme des outils d’aide à la décision plutôt que comme des outils de ciblage. Le problème est que les directions et agents des services de contrôles vouent une confiance quasi illimitée aux résultat des algorithmes qu’ils utilisent. Ils exercent une sorte de fascination qui met à mal la nécessité d’interroger leur pertinence.
La protection sociale ne peut se réduire à une simple équation algorithmique. Elle nécessite une approche humaine, capable de prendre en compte la complexité des situations individuelles et de garantir un traitement équitable pour tous les citoyens. C’est une évidence direz vous ? Apparemment pas pour tous. Et c’est bien là le problème.
Sources :
- Ces algorithmes qui entravent la vie des personnes en situation de pauvreté | algorithwatch.ch
Discrimination 2.0: ces algorithmes qui entravent la vie des personnes en situation de pauvreté | Humanrights.ch - Les algorithmes des systèmes de protection sociale accentuent les discriminations | Amnesty International
- Global governments’ adoption of unchecked technologies in social protection systems undermines rights | Amnesty International
- Dans la machine à suspicion : des limites des systèmes de scoring de l’aide sociale à Rotterdam | Hubert Guillaud
- Quinze organisations attaquent l’algorithme de notation de la CAF devant le Conseil d’État | D.Dubasque
Photo : 
