Discrimination numérique : Le fléau des algorithmes de la CNAF confirmé (AAH, RSA, familles monoparentales)

Le 14/12/2023
Classé dans Aides sociales, Ethique et Valeurs, Inégalités, Numérique, Pauvreté - Précarité, Violence
Société, Témoignages

La preuve est faite. Après deux ans d’efforts, de recherches approfondies et de collaborations entre diverses associations de défense des droits sociaux, le collectif Changer de Cap et la Quadrature du Net, ont mis au jour les rouages de l’algorithme de notation des CAF (Caisse d’Allocations Familiales). Cet algorithme cible certaines catégories d’allocataires, notamment les allocataires des minimas sociaux (RSA), les familles monoparentales et les personnes handicapés. Il leur attribue un haut score de risque. Plus ce score est élevé, plus les contrôles, souvent intrusifs, se multiplient. Cette méthode conduit à une présomption systématique de fraude envers les personnes concernées.

Cette révélation n’est pas totalement inattendue. Ces préoccupations avaient déjà été soulevées par des observateurs et des militants de l’association « Changer de Cap » dès le printemps et l’été 2022. Néanmoins, la confirmation technique de ces pratiques discriminatoires était jusqu’ici hors de portée. Malgré les réponses publiques apportées par la CNAF en début d’année 2023, le collectif et La Quadrature du Net ont persisté dans leur démarche.

La Quadrature du Net a consacré plus d’un an à obtenir d’anciennes versions de l’algorithme en question, puis a consacré plusieurs mois à son déchiffrement. Le fruit de ce travail a été rendu public le 27 novembre dans un article complet intitulé « Notation des allocataires : l’indécence des pratiques de la CAF désormais indéniable ». La publication a suscité un tollé, atteignant plus de 428.000 vues sur les réseaux sociaux. En réponse, la CNAF s’est contentée d’adresser un communiqué à l’AFP et de réagir en mode gestion de crise sur les réseaux sociaux, qualifiant les révélations de « contre-vérités et d’approximations ».

Une « inquisition numérique »

L’affaire a pris une nouvelle tournure le 4 décembre dernier lorsque le journal Le Monde a publié une enquête en quatre volets. Les journalistes se sont penché sur les conséquences de l’algorithme de notation sur la vie des allocataires. Les contrôles de la CAF entraînent souvent une suspension automatique des droits, ce qui a souvent des répercussions graves sur le quotidien des personnes qui vivent avec des minima sociaux.

Le site international Lighthouse Report, reconnu pour son journalisme collaboratif de qualité, a également enquêté sur cette affaire, qualifiant la situation de « l’inquisition numérique en France ». L’enquête conjointe Le Monde-Lighthouse Report a nécessité six mois de travail pour les journalistes. Bien que la direction de la CNAF ait été interrogée, le ministère des Solidarités, l’une de ses tutelles, a refusé de recevoir les auteurs de l’enquête.

Comment fonctionne l’algorithme ?

L’outil est basé sur une méthode de régression logistique, un type d’algorithme d’apprentissage. Cette méthode analyse des ensembles de données pour identifier les caractéristiques les plus prédictives d’un résultat ciblé, comme la fraude ou l’absence de fraude. L’algorithme est entraîné sur des données issues d’enquêtes annuelles menées par la CNAF, ce qui lui permet théoriquement de s’appuyer sur un large échantillon représentatif.

Le fonctionnement de l’algorithme est le suivant : il charge de nombreuses variables, et à chaque valeur possible qu’une variable peut prendre, comme « avoir des enfants » ou « ne pas avoir d’enfants », il assigne un coefficient (ou poids) compris entre -0,81 et +0,89. Ces coefficients sont additionnés pour créer un score brut, qui est ensuite transformé en un score de risque de probabilité compris entre 0 et 1, où 1 représente le risque le plus élevé de fraude. Un score brut de 0 correspond à un score de risque de 0,5.

L’analyse menée par Lighthouse Reports et Le Monde complète celle de la Quadrature du Net. Elle confirme que l’algorithme attribue systématiquement des scores plus élevés aux personnes vulnérables. Cela concerne les parents isolés, les personnes ayant des difficultés à payer leurs factures, les bénéficiaires d’allocations pour handicapés et les allocataires du RSA. Ces caractéristiques sont pourtant protégées par la loi contre la discrimination. De plus, l’analyse a montré que des variables telles que le revenu, l’âge, le statut familial et les interactions avec les caisses d’allocatioins familiales (vos appels ou interventions sur votre compte) influencent de manière significative les scores de risque.

Les critères utilisés par l’algorithme

Quelques critères pénalisants qui augmentent votre score

Avoir un enfant à charge de 19 ans ou plus
Avoir changé de loyer plus de 4 fois en 1 an et demi
Déclarer ses ressources pour l’allocation adulte handicapée chaque trimestre ou pour leRSA
Avoir été veuf·ve, divorcé·e ou séparé·e avec un changement récent

Quelques critères bénéfiques qui diminue votre score

Avoir un haut revenu
Être veuf·ve sans évolution
Être sous tutelle
Totaliser plus de 14 mois d’activité (allocataire et conjoint) sur un an

L’algorithme cible non seulement les plus précaires mais aussi ceux en situation d’instabilité. Il se base sur des critères tels que le montant des revenus, des dépenses (notamment les dépenses liées au logement), la situation professionnelle et le nombre de déclarations de situation auprès de la CAF. En conséquence, des critères pourtant protégés par la loi, tels que l’âge, le handicap ou la situation familiale, sont utilisés dans l’algorithme, conduisant à un ciblage systématique des populations les plus vulnérables.

Jusqu’à présent les parents isolés subissaient 36 % des contrôles à domicile. Portant ils ne représentent que 16 % des foyers recevant des aides. Le journl Le Monde précise que deux tiers de ces contrôles visent les foyers les plus précaires alors qu’ils sont minoritaires en nombre parmi les allocataires. L’algorithme actuel utilisé par la CNAF ayant été changé, on ne sait pas si ces inégalités qui existaient par le passé sont toujours en cours. Mais il est à craindre que ce soit le cas.

Tous les foyers qui consacrent plus de 35 % de leurs revenus à leur loyer ont un score qui augmente – qu’ils soient riches ou pauvres. La CNAF se défend de cibler les plus vulnérables. Pourtant, Les journalistes du Monde ont découvert qu’au moins sept des trente-six critères choisis pénalisent les foyers les plus précaires:

Le revenu mensuel ajusté par personne
Le rapport entre le montant du loyer et celui du revenu
La durée de versement lorsqu’il y a versement de minima sociaux
L’activité des 18 derniers mois de l’allocataire
Le fait d’avoir un abattement pour perte de revenu d’activité
Le nombre de déclarations trimestrielles de ressources (obligataires) dans les 18 derniers mois
Le nombre de déclarations faites sur internet les 12 derniers mois.

Pour des algorithmes publics et transparents

Cette affaire met en évidence la nécessité de revoir les pratiques entourant les algorithmes publics, y compris ceux utilisés pour le calcul des prestations sociales. Une proposition de résolution transpartisane est déjà en cours d’élaboration à l’Assemblée nationale, ce qui constitue un premier pas vers une meilleure réglementation de l’utilisation des algorithmes dans le secteur public.

La transparence des algorithmes publics, désormais considérés comme des documents administratifs, devient un impératif auquel les administrations, y compris la CAF, ne peuvent plus échapper. De plus, les allocataires doivent être clairement informés du traitement algorithmique appliqué à leur dossier, conformément au RGPD et au Code des relations entre le public et les administrations.

Il est évident que la CNAF et d’autres organismes ne peuvent plus justifier l’utilisation de tels algorithmes. Ils ont pour conséquence de mettre en œuvre des politiques punitives et discriminatoires. Tant que ces pratiques perdureront, le combat pour une utilisation éthique et transparente des algorithmes dans les administrations publiques devra continuer.

La défenseure des droits saisie

Stéphane Troussel, président du Conseil départemental de la Seine-Saint-Denis, s’est appuyé sur les résultats de l’enquête du journal Le Monde pour saisir la Défenseure des Droits. Il s’appuie sur les données de l’algorithme utilisé entre 2010 et 2018, car la CNAF a refusé de divulguer les éléments de l’outil actuel, arguant que cela faciliterait l’évitement des contrôles, une justification discutable.

Un département comme la Seine-Saint-Denis a une population qui est confrontée à de nombreuses difficultés socio-économiques. Certaines catégories de la population, déjà précaires, sont particulièrement visées, créant une double peine. Les familles monoparentales, qui bénéficient pourtant d’une protection de par la législation, sont particulièrement repérées. Elles représentent 36% des contrôles à domicile alors qu’elles ne constituent que 16% des allocataires de la CAF. Cette situation est d’autant plus préoccupante que les femmes sont surreprésentées parmi les parents célibataires, représentant 80% des parents dans cette situation.

Stéphane Troussel exprime en conséquence son inquiétude quant à l’impact de cet algorithme sur les habitants de la Seine-Saint-Denis, déjà confrontés à des difficultés socio-économiques considérables. Il veut en savoir plus. Il craint que ces contrôles excessifs ne créent une rupture d’égalité territoriale. En effet, la Seine-Saint-Denis affiche un taux de pauvreté deux fois supérieur à la moyenne nationale, avec une grande proportion d’allocataires de la CAF, de foyers au RSA, et d’allocataires de l’Allocation Adulte Handicapé (AAH). Le président du Département demande également des garanties pour éviter que le lieu de résidence, notamment dans les quartiers défavorisés, ne soit un facteur aggravant le risque de contrôle, ce qui constituerait une discrimination territoriale flagrante.

Pour toutes ces raisons, il demande à la défenseure des Droits d’ouvrir une procédure afin de statuer sur l’éventuel caractère discriminatoire des critères utilisés par l’algorithme. Il l’interroge sur les conséquences de l’application de ces critères pour les habitants de Seine-Saint-Denis avec des contrôles comparativement plus nombreux qu’ailleurs.

ATD Quart Monde dénonce l’utilisation d’algorithmes pauvrophobes

Dans un communiqué, ATD Quart Monde souligne de son côté le fonctionnement de ces « algorithmes pauvrophobes » utilisés par la CNAF. Conçus à l’origine pour rationaliser le versement des allocations familiales, ces algorithmes sont désormais accusés de créer l’exclusion des ménages qui vivent dans des conditions précaires. L’un des exemples les plus frappants est celui d’une famille qui s’est soudainement vue privée de ses allocations sans avertissement préalable en raison d’une erreur de calcul. Cette situation comme celle de milliers d’autres met en évidence les failles du système actuel.

Les conséquences de ces erreurs sont loin d’être anodines. Les familles les plus défavorisées, déjà en proie à des difficultés financières, se retrouvent injustement pénalisées. Cette situation alimente le cycle de la pauvreté et de l’exclusion sociale, allant à l’encontre des principes fondamentaux de justice sociale et d’équité.

Un appel à réformer le système

ATD Quart Monde appelle à une réforme urgente de l’utilisation des algorithmes par la CNAF. L’association met en avant la nécessité de garantir que ces outils technologiques ne contribuent pas à aggraver la vulnérabilité des familles déjà en difficulté. elle exhorte les autorités à revoir leur approche et à adopter des mécanismes de contrôle plus rigoureux pour éviter de telles erreurs.

Sera-t-elle entendue ?

Sources