En Angleterre, Big Brother regarde les plus pauvres : un exemple à ne pas suivre en France

En Angleterre un comté sur trois utilise des algorithmes informatiques pour aider à prendre des décisions concernant les demandes de prestations sociales, malgré les preuves qui montrent que certains systèmes ne sont pas fiables.

Les systèmes sont déployés pour fournir des conseils automatisés sur les demandes de prestations, mais aussi dans le cadre de la protection de l’enfance ainsi que pour attribuer des places d’hébergement.. Mais des inquiétudes ont été exprimées au sujet de la confidentialité et de la sécurité des données, de la capacité des fonctionnaires du conseil à comprendre le fonctionnement de certains systèmes et de la difficulté pour les citoyens de contester les décisions automatisées.

Un article du journal The Guardian explique pourquoi les algorithmes dit « prédictifs » peuvent poser de véritables problèmes supplémentaires aux personnes les plus fragiles.  « Face aux difficultés rencontrées, les services sociaux du comté de North Tyneside ont abandonné  les services de « TransUnion« , un prestataire dont dont le système permettait de « vérifier les demandes de logement et les demandes de prestations sociales et fiscales. Les paiements  à un nombre inconnu de personnes ont été indûment retardés lorsque les «analyses prédictives» de l’ordinateur ont identifié – à tort – des demandes à faible risque devenues d’un seul coup à haut risque ».

Une association anglaise baptisé Big Brother Watch se mobilise. Silkie Carlo, sa directrice explique  que l’utilisation croissante d’algorithmes laissait les personnes vulnérables au gré de « décisions automatisées … dont elles n’ont aucune idée et ne peuvent pas contester ».

Les décisionnaires sont « otages » des logiciels de gestion. Gwilym Morris, un consultant en gestion qui travaille avec des fournisseurs informatiques du secteur public, a déclaré au Guardian que la complexité des systèmes met les autorités locales en difficulté. «Elles ne comprennent pas vraiment ce qui se passe» et cela soulève des questions sur la façon dont les données des citoyens sont  utilisées ».

C’est au nom de la lutte contre la fraude que ces systèmes se sont développés. Puis dans un second temps les fournisseurs (tous privés) ont vendu ces outils comme des moyens permettant de gagner du temps dans l’analyse des demandes sociales. Cela coutait moins cher que de maintenir en poste des agents chargés d’accueillir le public et de vérifier le bien fondé des demandes.

Mais cela va désormais plus loin.  « Le modèle prédictif Xantura analyse les signes avant-coureurs du fonctionnement d’un ménage, comme un enfant expulsé de l’école ou un rapport de violences conjugales. La prédiction du modèle est ensuite transmise à un travailleur social pour action potentielle ». Wajid Shafiq, directeur général de Xantura, ne valide pas lui-même la fiabilité du service : « Nous améliorons continuellement la précision de nos analyses et modèles, mais nous n’avons jamais été en mesure de développer un modèle prédictif fiable » déclare-t-il comme pour se dédouaner.

D’autres risques sont identifiés parmi les conséquences imprévues de l’usage de ces logiciels il y a la stigmatisation des communautés et l’intrusion indésirable de services particuliers.

David Spiegelhalter lui non plus n’est pas convaincu, Cet ancien président de la Royal Statistical Society, a déclaré: «Il y a trop de battage médiatique et de mystère autour de l’apprentissage automatique et des algorithmes. Je pense que les conseils devraient exiger des explications fiables et transparentes sur le fonctionnement de tout système, pourquoi il aboutit à des conclusions spécifiques sur les individus, s’il est juste et s’il va réellement aider dans la pratique. »

En tout cas e marché se développe. Il est en pleine expansion et devrait aussi se développer en France. On parle désormais d’un marché industriel des logiciels de gestion des cas de travail social. Il est prévu une explosion de ce marché  avec des « opportunités de croissance potentielles ».

Tout cela n’a pas de quoi nous rassurer.

 

Photo : issue du blog de l’association Big Brother Watch pour sa campagne « FACE OFF »

Note : J’ai rédigé cet article à partir des éléments fournis par l’article  du Guardian « One in three councils using algorithms to make welfare decisions » 

 

Partager

Partager sur facebook
Partager sur twitter
Partager sur linkedin
Partager sur email

Articles liés :

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.