Dans une démarche inédite, quinze associations, fondations et syndicats ont déposé jeudi dernier un recours devant le Conseil d’État pour contester l’utilisation par la Caisse nationale des allocations familiales (CNAF) d’un algorithme de notation des allocataires. Cette action en justice, lancée à la veille de la journée mondiale du refus de la misère, vise à faire interdire un dispositif discriminatoire et attentatoire aux droits fondamentaux des personnes qui perçoivent les minimas sociaux.
Un algorithme au cœur du débat
L’objet du litige est l’algorithme utilisé par la CNAF pour attribuer un « score de risque » à chacun des 32 millions de bénéficiaires des prestations sociales. Ce score, calculé mensuellement, détermine la probabilité pour un allocataire d’être soumis à un contrôle. Plus le score est élevé, plus le risque d’être contrôlé augmente.
Lire aussi :
Cet outil de ciblage pose de sérieux problèmes éthiques et juridiques. Parmi les facteurs augmentant le score de risque figurent notamment le fait d’avoir de faibles revenus, d’être au chômage, de percevoir le RSA ou l’Allocation adulte handicapé (AAH). « Cet algorithme est la traduction d’une politique d’acharnement contre
les plus pauvres. Parce que vous êtes précaire, vous serez suspect aux yeux de l’algorithme, et donc contrôlé. C’est une double peine. », dénonce Bastien Le Querrec, juriste à La Quadrature du Net.
Une surveillance massive et disproportionnée
Ce recours devant le Conseil d’État s’appuie sur plusieurs arguments juridiques. Les associations estiment en premier lieu que le traitement de données personnelles opéré par la CNAF est disproportionné au regard de sa finalité. L’algorithme analyse en effet chaque mois les données de plus de 32 millions de personnes, dont 13,5 millions d’enfants, soit près de la moitié de la population française (chiffres communiqués par la CNAF en 2023)
Lire aussi
Le volume de données traitées est colossal et concerne des informations très précises sur la vie des personnes. Cette pratique est en contradiction avec une obligation du RGPD qui demande de minimiser la quantité de données collectée et de ne « collecter que les données personnelles qui sont adéquates, pertinentes et nécessaires au regard des finalités du traitement telles que définies au moment de la collecte ». (CNIL minimiser les données)
Une prise de décision automatisée
Le deuxième argument majeur du recours porte sur l’interdiction des traitements de données prenant des décisions automatisées. C‘est explicitement indiqué par le Règlement général sur la protection des données (RGPD). Les organisations s’appuient notamment sur une récente décision de la Cour de justice de l’Union européenne qui a considéré qu’un algorithme de scoring relevait de cette interdiction.
L’algorithme de la CNAF prend de fait des décisions automatisées en déterminant qui sera contrôlé ou non. Cette pratique est en ce sens contraire au principe d’interdiction posé par le RGPD.
Des discriminations directes et indirectes dénoncées
Le troisième axe de ce recours concerne les discriminations engendrées par l’utilisation de l’algorithme. Les requérants dénoncent à la fois des discriminations directes, liées au paramétrage même de l’outil, et des discriminations indirectes résultant de ses effets.
Lire aussi
L’algorithme est paramétré pour donner un score haut qui déclenche les contrôles directement certaines catégories de population. Les familles monoparentales, les jeunes de moins de 30 ans ou les personnes à faibles revenus sont principalement concernées. Mais au-delà, cette utilisation a pour effet concret de sur-représenter ces publics parmi les personnes contrôlées. C’est une double peine pour des populations déjà fragilisées.
Un manque de transparence pointé du doigt
Les organisations requérantes déplorent également le manque de transparence de la CNAF sur le fonctionnement précis de son algorithme. Malgré plusieurs demandes, l’organisme a refusé de communiquer la dernière version de son code source. Pourquoi ? Elle estime que la révélation de son code permettrait à des allocataires mal intentionnés de rechercher des failles pour tenter de frauder.
Cette opacité empêche tout contrôle indépendant et limite fortement le débat public sur ces technologies. Elles ont pourtant un impact direct sur la vie de millions de personnes.
Face à cet obstacle, les associations demandent au Conseil d’État d’user de ses pouvoirs d’instruction pour exiger de la CNAF la communication de la version actuelle de l’algorithme. Ils s’appuient notamment sur le principe de renversement de la charge de la preuve en matière de discriminations prévu par le droit européen.
Des conséquences concrètes sur la vie des allocataires
Au-delà des arguments juridiques, les organisations insistent sur les conséquences très concrètes de ces contrôles ciblés sur la vie des allocataires. Les contrôles sont des moments particulièrement difficiles à vivre, générateurs d’une forte charge administrative et d’une grande anxiété. Les témoignages à ce sujet sont nombreux et ce ne sont pas les travailleurs sociaux qui le contrediront.
Agnès Callamard, secrétaire générale d’Amnesty International alerte sur la situation en France qui risque de suivre le pas d’autres pays comme les Pays-Bas : « Nous avons vu ce qui s’est passé aux Pays-Bas en 2021, où le fisc a utilisé un algorithme discriminatoire de notation des risques pour détecter la fraude aux allocations familiales » dit-elle. « Des milliers de familles ont été plongées dans la dette et la pauvreté. Une situation similaire risque de se produire en France, et ce risque doit être atténué de toute urgence puisque des préjudices sont déjà survenus. »
Lire aussi :
Suspensions de versements, demandes de remboursements d’indus non motivés, privation totale de ressources… Les situations de détresse engendrées par ces contrôles sont nombreuses. Dans un contexte où le non-recours aux droits sociaux reste massif, avec par exemple 34% des personnes éligibles au RSA qui n’y ont pas recours, ces pratiques de contrôle intensif sont totalement contre-productives.
Elles alimentent le non-recours. Certains allocataires, traumatisés par d’anciens contrôles à répétition préfèrent vivre d’expédients plutôt que de faire appel à leurs droits sociaux. « »Encore une fois, il s’agit d’une technologie que l’on nous présente comme efficace, utile et impartiale », explique Katia Roux chargé de Plaidoyer à Amnesty France. Interrogée par Médiapart, elle précise que « comme les autres algorithmes, celui de la CAF ne fait que renforcer les préjugés et la vision du monde de ceux qui les conçoivent. »
Lire aussi
Cité par Le Parisien, Nicolas Grivel directeur général de la Cnaf répond que l’algorithme cible « les indus importants et répétés ». Il ne précise pas que ces indus ont souvent pour origine des dysfonctionnement du logiciel de la CAF qui est ancien et doit être remplacé. Il déclare toutefois que la Cnaf se mettra en conformité si une juridiction devait prendre position pour faire évoluer le dispositif. Il reconnait implicitement qu’il est possible de changer le système.
Une première juridique aux multiples enjeux
Ce recours devant le Conseil d’État contre un algorithme de ciblage d’un organisme ayant mission de service public constitue une première en France. Il s’inscrit dans un contexte plus large de généralisation de l’usage d’algorithmes au sein des organismes sociaux.
L’objectif du collectif d’associations est de construire un front collectif pour faire interdire ce type de pratiques. Il est possible d’organiser des contrôles sur des bases « objectivables » en s’appuyant sur données vérifiées et non sur des éléments de suspicions liés à la situation sociale des allocataires. Il s’agit aussi d’alerter le public sur la violence dont sont porteuses les politiques dites de lutte contre la fraude sociale.
Au-delà du cas spécifique de la CNAF, les organisations espèrent que cette action en justice permettra d’ouvrir un débat de fond sur l’utilisation des algorithmes dans les politiques sociales. Elles appellent à une réorientation des contrôles vers le conseil pour l’accès aux droits, et non vers la récupération d’un maximum d’éventuels indus.
En attendant l’examen de leur recours par le Conseil d’État, les quinze organisations requérantes entendent poursuivre leur mobilisation pour sensibiliser l’opinion publique aux enjeux soulevés par ces pratiques de notation algorithmique. Elles appellent également le gouvernement à engager une réflexion de fond sur les moyens de lutter contre la fraude sociale sans stigmatiser les plus précaires.
La balle est désormais dans le camp de la plus haute juridiction administrative. Sa décision, attendue dans les prochains mois, pourrait faire jurisprudence et avoir des répercussions bien au-delà du seul cas de la CNAF.
Sources :
Lire aussi
- La CNAF attaquée en justice pour son algorithme anti-fraude | ASH
- Des organisations contestent l’algorithme de contrôle des CAF devant le Conseil d’État | Le Media Social
- Allocations : des associations saisissent le Conseil d’État pour la suppression d’un algorithme anti-fraude | Le Parisien
- Un algorithme des allocations familiales attaqué devant le Conseil d’État | La Revue du Digital
- Algorithme de la CAF : précarité et suspicion, les associations montent au créneau | Capital
- L’algorithme de notation de la CAF accusé d’être discriminatoire | Mediapart
et sur ce blog
- Comment l’intelligence artificielle et le Big Data peuvent « automatiser » les inégalités…
- (Encore lui !) François Lenglet tente de remplir une demande de RSA et ça vaut le détour !
- Remettre l’humain au cœur de l’action des Caisses d’Allocations Familiales
Note. les 15 associations sont : La Quadrature du Net – AAJDAM – Aequitaz – Amnesty International France -L’ ANAS (Association nationale des assistants de service social) – L’APF France Handicap – La CNDH Romeurope – Le Collectif Changer de Cap – La Fondation Abbé Pierre – Le GISTI – La LDH (Ligue des droits de l’Homme) –Le MFRB (Mouvement français pour un revenu de base) – Le MNCP (Mouvement national des chômeurs et précaires) –Le Mouton numérique et le SAF (Syndicat des avocats de France).
3 réponses
Bravo !