En Angleterre un comté sur trois utilise des algorithmes informatiques pour aider à prendre des décisions concernant les demandes de prestations sociales, malgré les preuves qui montrent que certains systèmes ne sont pas fiables.
Les systèmes sont déployés pour fournir des conseils automatisés sur les demandes de prestations, mais aussi dans le cadre de la protection de l’enfance ainsi que pour attribuer des places d’hébergement.. Mais des inquiétudes ont été exprimées au sujet de la confidentialité et de la sécurité des données, de la capacité des fonctionnaires du conseil à comprendre le fonctionnement de certains systèmes et de la difficulté pour les citoyens de contester les décisions automatisées.
Un article du journal The Guardian explique pourquoi les algorithmes dit « prédictifs » peuvent poser de véritables problèmes supplémentaires aux personnes les plus fragiles. « Face aux difficultés rencontrées, les services sociaux du comté de North Tyneside ont abandonné les services de « TransUnion« , un prestataire dont le système permettait de « vérifier les demandes de logement et les demandes de prestations sociales et fiscales. Les paiements à un nombre inconnu de personnes ont été indûment retardés lorsque les analyses prédictives de l’ordinateur ont identifié – à tort – des demandes à faible risque devenues d’un seul coup à haut risque ».
Une association anglaise baptisé Big Brother Watch se mobilise. Silkie Carlo, sa directrice explique que l’utilisation croissante d’algorithmes laissent les personnes vulnérables au gré de « décisions automatisées … dont elles n’ont aucune idée et ne peuvent pas contester ».
Les décisionnaires sont de leur côté « otages » des logiciels de gestion. Gwilym Morris, un consultant en gestion qui travaille avec des fournisseurs informatiques du secteur public, a déclaré au Guardian que la complexité des systèmes met les autorités locales en difficulté. « Elles ne comprennent pas vraiment ce qui se passe » et cela soulève des questions sur la façon dont les données des citoyens sont utilisées ».
C’est au nom de la lutte contre la fraude que ces systèmes se sont développés. Puis dans un second temps les fournisseurs (tous privés) ont vendu ces outils comme des moyens permettant de gagner du temps dans l’analyse des demandes sociales.
Cet usage de l’intelligence artificielle (IA) coutait moins cher que de maintenir en poste des agents chargés d’accueillir le public et de vérifier le bien fondé des demandes. Mais cela va désormais plus loin.
« Le modèle prédictif Xantura analyse les signes avant-coureurs du fonctionnement d’un ménage, comme un enfant expulsé de l’école ou un rapport de violences conjugales. La prédiction du modèle est ensuite transmise à un travailleur social pour action potentielle ». Wajid Shafiq, directeur général de Xantura, ne valide pas lui-même la fiabilité du service : « Nous améliorons continuellement la précision de nos analyses et modèles, mais nous n’avons jamais été en mesure de développer un modèle prédictif fiable » déclare-t-il comme pour se dédouaner.
D’autres risques sont identifiés parmi les conséquences imprévues de l’usage de ces logiciels, il y a la stigmatisation des communautés et l’intrusion indésirable de services particuliers.
David Spiegelhalter lui non plus n’est pas convaincu, Cet ancien président de la Royal Statistical Society, a déclaré qu’il « y a trop de battage médiatique et de mystère autour de l’apprentissage automatique et des algorithmes. Je pense que les conseils devraient exiger des explications fiables et transparentes sur le fonctionnement de tout système, pourquoi il aboutit à des conclusions spécifiques sur les individus, s’il est juste et s’il va réellement aider dans la pratique. »
En tout cas e marché se développe. Il est en pleine expansion et devrait aussi se développer en France. On parle désormais d’un marché industriel des logiciels de gestion des cas de travail social. Il est prévu une explosion de ce marché avec des « opportunités de croissance potentielles ».
Tout cela n’a pas de quoi nous rassurer.
Photo : issue du blog de l’association Big Brother Watch pour sa campagne « FACE OFF »
Note : J’avais rédigé cet article à partir des éléments fournis par l’article du Guardian « One in three councils using algorithms to make welfare decisions » le 14 janvier 2020.
N’hésitez pas à soutenir mon travail en vous procurant mon ouvrage…
