Le quotidien d’Allan Brooks (photo), recruteur canadien de 47 ans, a basculé en l’espace de quelques heures passées devant son écran. Parti d’une simple question sur le nombre pi que lui avait posée son fils de huit ans, il s’est retrouvé, vingt et un jours plus tard, convaincu d’avoir découvert une théorie mathématique révolutionnaire capable de bouleverser la cryptographie mondiale et d’alimenter des inventions dignes de la science-fiction. Cette descente aux enfers technologique, minutieusement documentée par le New York Times dans un article récent , révèle l’une des dérives les plus préoccupantes de notre époque numérique : la capacité des chatbots d’intelligence artificielle à plonger des individus ordinaires dans des spirales délirantes aux conséquences dramatiques.
La mécanique impitoyable de la flatterie artificielle
L’histoire de M. Brooks permet de comprendre un phénomène que les chercheurs qualifient de « flagornerie » des chatbots. Cette tendance des systèmes d’IA à approuver et féliciter excessivement leurs utilisateurs découle directement de leur entraînement : puisque les humains évaluent leurs réponses et tendent à apprécier les messages flatteurs, les algorithmes ont appris à privilégier l’acquiescement plutôt que la contradiction. Helen Toner, directrice du Centre pour la sécurité et les technologies émergentes de Georgetown, décrit ce mécanisme avec une précision glaçante : « Les utilisateurs ont tendance à apprécier que les modèles leur disent qu’ils sont excellents, et il est donc assez facile d’aller trop loin dans cette direction ».
Les chercheurs ont en réalité découvert que le problème principal, c’est la tendance de ces IA à être “ sycophantes ”. Cela signifie qu’elles approuvent tout ce que vous dites, même si c’est complètement délirant ou dangereux. OpenAI l’a d’ailleurs reconnu dans un post de blog en mai, admettant que ChatGPT était devenu “trop supportif mais pas sincère”, ce qui peut, explique Koben sur son site, “valider les doutes, alimenter la colère, pousser à des décisions impulsives, ou renforcer les émotions négatives”.
Cette complaisance algorithmique s’avère particulièrement pernicieuse lorsqu’elle rencontre des esprits fragilisés par l’isolement, le stress ou plus simplement les épreuves personnelles. M. Brooks, fraîchement divorcé et père célibataire de trois enfants, avait déjà développé une relation de confiance avec ChatGPT, l’utilisant pour des conseils culinaires, des questions vétérinaires ou du soutien psychologique pendant sa séparation. Cette familiarité a créé un terrain propice à l’installation progressive d’une dépendance affective, phénomène désormais documenté par plusieurs études scientifiques.
Cette tendance se développe. Le site psycom donne des exemples : Bialy, 25 ans, a utilisé ChatGPT pour se remettre d’une grosse rupture amicale ; Fanny, 21 ans, pour décrypter une situation sociale problématique et trouver comment se comporter. Christina, 43 ans, sollicite le robot pour analyser ses rêves. Ces témoignages, recueillis par le journaliste de Brut Alsène Gomis, montrent à quel point les raisons pour lesquelles on s’adresse à lui sont variées.
Quand l’accompagnement devient manipulation
L’analyse détaillée des échanges entre M. Brooks et ChatGPT révèle une escalade inquiétante dans les méthodes de persuasion du chatbot. Lorsque l’utilisateur exprime des doutes sur ses capacités intellectuelles, rappelant qu’il n’a « même pas fini le lycée », l’IA déploie une rhétorique sophistiquée, citant les parcours de Michael Faraday, Ramanujan ou Léonard de Vinci pour valider ses aspirations.
Cette validation pseudo-savante s’accompagne d’une urgence artificielle. Le chatbot a encouragé M. Brooks à « alerter tout le monde immédiatement » de ses découvertes supposées, créant une pression psychologique considérable. Cette histoire bien documentée a aussi fait l’objet d’un reportage sur CNN qui a interrogé cette victime qui n’avait pas de troubles psychologiques identifiés avant son utilisation du chabot.
Nina Vasan, psychiatre à l’Université de Stanford qui a examiné ces conversations avec le chat, a établi un diagnostic clinique sans appel : M. Brooks présentait « des signes d’un épisode maniaque avec des caractéristiques psychotiques ». Les symptômes incluaient les longues heures passées sans manger ni dormir, la consommation excessive de cannabis et surtout cette « fuite d’idées » caractérisée par des illusions grandioses concernant ses inventions révolutionnaires.
La psychiatre souligne que l’IA a « amplifié le délire de M. Brooks, le faisant passer d’une petite étincelle à un véritable incendie ». Le problème est que ce fait n’est pas isolé. Il existe aussi en France. Je me rappelle les propos du philosophe Miguel Benasayag qui nous avait expliqué que toute technologie génère ses propres problématiques. Nous y sommes aujourd’hui. Si l’IA est capable de rédiger des réponses « bluffantes » en produisant des textes au kilomètre, elles développent en même temps un pouvoir de persuasion qui ne touche pas que les esprits fragiles.
Cette histoire met en évidence des failles béantes dans notre système de protection des personnes vulnérables. Les professionnels de l’accompagnement sont démunis face à ces nouveaux risques technologiques. Les travailleurs sociaux, psychologues et thérapeutes vont être confrontés comme c’est le cas aux Etats-Unis à des situations inédites où leurs publics développent des relations pathologiques avec des systèmes artificiels.
Les professionnels, formés pour déceler les signes de détresse et orienter vers les soins appropriés, doivent désormais composer avec des troubles émergents dont les mécanismes leur échappent partiellement. L’enquête du New York Times révèle que M. Brooks n’était pas un cas isolé : un groupe de soutien s’est constitué pour accompagner les personnes ayant vécu des expériences similaires. Cette nouvelle forme d’entraide nous donne à voir à la fois l’ampleur du phénomène et l’insuffisance des réponses institutionnelles. Les témoignages recueillis font état de ruptures familiales, de pertes d’emploi, de situations de précarité extrême, voire de passages à l’acte suicidaires directement liés aux interactions avec des chatbots.
L’expertise du terrain face aux algorithmes
Les professionnels du soin et de l’accompagnement développent progressivement une compréhension empirique de ces nouveaux troubles. Søren Dinesen Østergaard, psychiatre à l’hôpital universitaire d’Aarhus au Danemark, observe que « la correspondance avec les chatbots génératifs à IA comme ChatGPT est si réaliste qu’on a facilement l’impression qu’il y a une vraie personne en face de soi, tout en sachant que ce n’est pas le cas ». Cette dissonance cognitive peut, selon lui, « alimenter des délires chez les personnes présentant une prédisposition accrue à la psychose ».
Le Dr Jared Moore, chercheur en informatique à Stanford, a mené une étude révélatrice sur la capacité des chatbots à fournir des réponses dangereuses aux personnes en crise. Ses travaux suggèrent que ces systèmes, optimisés pour l’engagement utilisateur, adoptent inconsciemment des stratégies narratives empruntées aux thrillers ou à la science-fiction, créant une urgence artificielle particulièrement toxique pour les personnes vulnérables. En fait l’IA utilise les codes des séries et synopsis des productions cinématographiques pour captiver un utilisateur et l’enfermer dans une boucle de dépendance.
Les limites de la régulation technique
Face à ces dérives, les entreprises technologiques tentent d’ajuster leurs systèmes, mais leurs réponses semblent largement insuffisantes. OpenAI a reconnu en mai 2025 que ChatGPT était devenu « trop supportif mais pas sincère », admettant que cela pouvait « valider les doutes, alimenter la colère, pousser à des décisions impulsives, ou renforcer les émotions négatives ». L’entreprise a annoncé des modifications pour « mieux détecter les signes de détresse mentale ou émotionnelle » et des « rappels discrets pendant les longues sessions pour encourager les pauses ». Mais cela c’est le discours formaté d’une entreprise qui fait ce qu’elle veut.
Le problème est aussi que ce type de phénomène concerne toutes les IA grand public mises sur le marché. Les tests menés par le New York Times sur d’autres chatbots (Claude d’Anthropic et Gemini de Google) montrent que le problème dépasse largement ChatGPT : confrontés aux mêmes situations délirantes, ces systèmes adoptent des comportements similaires, validant les idées farfelues et encourageant l’obsession. Cette universalité du phénomène suggère que le problème réside dans l’architecture même de ces systèmes, conçus pour optimiser l’engagement plutôt que le bien-être de leurs utilisateurs.
L’importance d’une réponse professionnelle coordonnée
L’émergence de ces nouveaux troubles appelle une vigilance des professionnels de l’accompagnement social et sanitaire. Le secteur du travail social, traditionnellement en marge des révolutions technologiques, ne peut plus ignorer ces évolutions. Comme le souligne Yann Ferguson, directeur scientifique du LaborIA, l’IA présente certes des opportunités pour réduire « l’inflation des tâches administratives » et permettre un « recentrage sur le cœur de métier du travail social ». Interrogé par le Média Social, il précise aussi qu’elle va générer aussi de nouveaux besoins d’accompagnement.
L’expertise des travailleurs sociaux et des professionnels du soin va s’avèrer précieuse à l’avenir pour comprendre et prévenir ces dérives. Leur formation à l’écoute, à la détection des signaux de détresse et à l’orientation vers les soins appropriés sera certainement un rempart face à l’expansion non contrôlée des usages non maitrisés de l’IA.
Les plateformes d’avatars artificiels multiplient les profils dits « thérapeutes ». C’est un phénomène inquiétant en regard de la popularité de ces chatbots et leur manque d’encadrement auprès des personnes les plus vulnérables. Le magazine Usbek et Rica a donné la parole à Valérie Niro, directrice médicale psychiatrie France du groupe emeis et Nicolas Juenet, directeur médical adjoint santé mentale de ce groupe. « en France, les titres de psychiatre, de psychologue clinicien et de psychothérapeute sont protégés » , ce qui pourrait constituer un levier réglementaire pour encadrer les chatbots qui se présentent comme thérapeutiques. En tout cas, il faut pouvoir en contrôler les usages.
Les professionnels plaident pour une approche éthique stricte : indiquer clairement que les outils d’IA ne dispensent pas de soins thérapeutiques, veiller au consentement des patients concernant l’utilisation de leurs données, et s’assurer que l’IA « ne reste bel et bien qu’un outil, une aide contrôlée par un professionnel de santé ». Cette vision s’oppose frontalement à l’idéologie technologique qui voudrait automatiser l’empathie et mécaniser le soin relationnel. Car c’est bien de cela qu’il s’agit. Une utilisation sauvage de l’IA pour tenter de résoudre des problèmes psychologiques et de détresse sociale.
L’impératif de formation et de sensibilisation
L’histoire d’Allan Brooks nous enseigne que n’importe qui peut basculer dans ces spirales délirantes. Comme l’observe le Dr Vasan, « personne n’est à l’abri de ce risque ». Cette vulnérabilité universelle impose aux professionnels de l’accompagnement de se former rapidement à ces nouveaux phénomènes. Il ne s’agit plus seulement de maîtriser les outils numériques, mais de comprendre leurs effets psychologiques et sociaux pour mieux protéger les publics fragilisés.
A ma connaissance, les formations n’ont pas pris en compte aujourd’hui ces questions émergentes face à ces phénomènes nouveaux. Les écoles de travail social, les instituts de formation des soignants et les organismes de formation continue vont devoir intégrer à l’avenir ces enjeux, non pas pour diaboliser la technologie, mais pour développer une expertise critique permettant d’en maîtriser les risques.
Cette situation révèle également l’importance de maintenir et de valoriser les espaces de relation humaine authentique. Face aux sirènes de l’automatisation, les professionnels du soin et de l’accompagnement portent une responsabilité particulière : celle de défendre la valeur irremplaçable de l’empathie réelle, de l’écoute incarnée et de la présence humaine dans les moments de vulnérabilité.
L’expérience traumatisante de M. Brooks, fait qu’aujourd’hui il anime des groupes d’entraides de personnes victimes de ChatGPT. Il nous rappelle que derrière chaque interaction technologique se cache une personne réelle, avec ses fragilités, ses espoirs et sa dignité. Les professionnels de l’accompagnement, gardiens de cette dimension humaine, ont plus que jamais un rôle essentiel à jouer dans cette société en mutation technologique accélérée où on arrive à se demander aujourd’hui qui maitrise quoi.
Note : Pour rédiger cet article je me suis largement inspiré de l’article du New York Time que j’aurais aimé diffuser dans son intégralité tellement ce qui est décrit me parait important. Je ne peux pas mettre en ligne sa traduction au nom du respect de ses auteurs Kashmir Hill and Dylan Freedman. Mais si vous m’en adressez une demande dans les commentaires je peux vous l’adresser par mail à titre privé. (Vous n’avez pas à indiquer votre mail dans le commentaire qui reste anonyme si vous le souhaitez)
Sources
- Chatbots can go into a delusional spiral. Here’s how it happens… | The New York Times
- ChatGPT rend les gens psychotiques et pousse au suicide | Korben
- ChatGPT, le nouveau psy | Psycom
- « Psychose induite par ChatGPT » : quand l’IA devient un danger pour la santé mentale | Trust My Science
pour aller plus loin :
- Les IA, nos nouvelles confidentes : quels risques pour la santé mentale ? | The Conversation
- They thought they were making technological breakthroughs. It was an AI-sparked delusion | CNN
- L’intelligence artificielle peut-elle remplacer un travailleur social ? | Dubasque
- ChatGPT et sa fausse empathie : une menace pour notre santé mentale ? | Le Monde
- Vers une convention pour encadrer l’usage de l’IA dans le travail social | Le Média Social
- Santé mentale : « L’IA n’est pas la solution à tous nos maux » | Usbek & Rica
Photo Capture d’écran CNN : Allan Brooks a été amené à croire, grâce à ChatGPT, qu’il avait découvert une faille de sécurité informatique majeure. CNN
