Une tribune dans le New York Times, proposée en janvier 2018 par l’avocate Elisabeth Mason (@elismason1), directrice du Laboratoire pauvreté et technologie, vise à valoriser l’intelligence dite artificielle (I.A.). Son labo qui dépend du Centre sur la pauvreté et l’inégalité de Stanford (@CenterPovlneq) souligne que le Big data et l’I.A. sont amenés à être des outils puissants pour lutter contre la pauvreté.
Il n’en est rien et c’est même le contraire qui se profile nous explique Virginia Eubanks (@poptechworks) qui a publié un livre intitulé « Automatiser les inégalités : comment les outils high-tech profilent, « formatent » et punissent les pauvres. » Le débat est donc lancé outre atlantique mais il est à craindre que ce soient une nouvelle fois les plus exclus qui aient perdu la partie. Cela mérite quelques explications…
Les systèmes de gestion de la pauvreté ont été automatisés aux Etats Unis en Angleterre et au Canada. Au nom du contrôle du bien fondé de l’attribution de droit toute une population est désormais sous le contrôle d’algorithmes qui visent à déceler tout risque de fraude mais aussi à rationaliser les aides sociales. Des termes qui passent bien pour le grand public soucieux que l’argent public ne soit pas dépensé n’importe comment.
Virginia Eubanks a enquêté sur plusieurs systèmes automatisés développés pour optimiser les programmes sociaux américains. Ce qu’elle a découvert à de quoi faire frémir. La rationalisation des programmes d’aides publiques du fait des coupes budgétaires les contraint à toujours plus de performance et d’efficacité. Les outils numériques visent à optimiser cette performance et cette efficacité. Ils n’ont rien de neutre explique la chercheuse.
Les communautés les plus démunies ont toujours été les plus surveillées
Certains algorithmes font sortir des dispositifs des personnes fragiles qui n’ont alors plus rien pour vivre. Hubert Guillaud dans un article intitulé « l’automatisation des inégalités » nous explique : « Dans la première partie de l’ouvrage, Virginia Eubanks dresse un rapide historique pour rappeler qu’à la suite de Michel Foucault, les communautés les plus démunies ont toujours été les plus surveillées. Elle souligne la continuité entre les asiles, les prisons, les hospices de la fin du XVIIIe siècle aux bases de données d’aujourd’hui, rappelant que les premières bases de données ont été créées par les promoteurs de l’eugénisme pour discriminer les criminels et les faibles d’esprit. Ça, c’est pour rappeler que la tendance à la surveillance et contrainte des populations pauvres remonte de loin et sont des avatars issus des pratiques nouvelles.
Ce qui est nouveau, est que les outils numériques sont désormais utilisés aux États-Unis pour surveiller les populations pauvres. Ce n’est pas vraiment nouveau, dit-elle Le pays a connu « des vagues régulières de critiques contre l’aide sociale. Partout, l’enjeu a été de mettre en place des règles pour limiter et contrôler le nombre de bénéficiaires de ces aides, privées comme publiques. Une histoire qui s’intrique à celle des représentations de la pauvreté, de son coût, de la fraude, de la dénonciation de l’inefficacité des aides… Les « hospices numériques » (digital poorhouse), c’est-à-dire les systèmes automatisés de contrôle des aides que reçoivent les plus pauvres, naissent dès les années 70, avec l’informatique elle-même, rappelle la chercheuse.
Aujourd’hui on laisse supposer que ces algorithmes sont neutres, qu’ils ne récoltent que des données qui sont considérées comme « apportant la preuve de ce qui marche«
Aux États-Unis, alors que le droit développait l’aide publique, la technologie était utilisée pour réduire le nombre de leurs allocataires ! Les programmes de détection des fraudes, des bases de données de bénéficiaires ont été créées et reliées pour tracer les dépenses et les comportements de leurs bénéficiaires dans de multiples programmes sociaux. « Le conflit entre le développement des droits pour les bénéficiaires de l’aide sociale et le faible soutien aux programmes d’assistance publique a été résolu par le développement d’outils technologiques punitifs ».
Un exemple est donné avec le système automatique de gestion de l’assistance de l’Indiana, confié à un opérateur privé. Il montre toute l’incompétence du délégataire : durant son fonctionnement, l’aide publique a reculé de 54 %. Au moindre oubli, au moindre document manquant, les bénéficiaires étaient tout simplement éjectés du système au prétexte d’un culpabilisant « défaut de coopération » cachant surtout ses défaillances techniques et organisationnelles.
Allons nous en France dans cette direction ?
La question mérite d’être posée même si la loi sur la société de confiance laisse supposer que la confiance est le maître mot de l’accès aux droits. Cette loi institue le « droit à l’erreur » dans l’usage des plateformes. Mais il ne semble pas être mis en application par les administrations qui dispensent des prestations sociales.
Rappelons ce que nous disait Pierre Bourdieu à ce sujet : Il y a la main gauche de l’État qui cherche à protéger les plus fragiles, mais aussi à apporter du soin de l’éducation et la culture pour tous. Mais il y a aussi une main droite qui contrôle restreint et aujourd’hui nous prive. Le plus bel exemple concerne les hôpitaux qui, malgré une des plus nobles missions qui leur sont données, sont au bord de l’asphyxie à cause de leur mode de gestion et des contraintes budgétaires. Dans ce combat-là, c’est souvent la main droite qui gagne.
C’est pourquoi ce qui se passe aux États-Unis pourrait bien survenir en France grâce à cette société numérique qui produit des algorithmes qui intéressent trop peu les citoyens. Aux Etats Unis Virginia Eubanks s’inquiète que la technologie fournisse « la distance émotionnelle nécessaire pour prendre des décisions inhumaines« .
Il n’y a plus qu’à espérer que la France ne suive pas la voie américaine.
Photo : Virginia Eubanks sur youtube (openmind). (article publié initialement le 23 février 2018)
N’hésitez pas à soutenir mon travail en vous procurant mon ouvrage…
2 réponses