Ce n’est pas moi qui le dit et ce n’est pas une vue de l’esprit. Plusieurs recherches nous apprennent que plusieurs modèles d’IA sont en train d’agir en dehors de ce que leurs concepteurs ont prévu. Pourquoi et comment ? C’est ce que je vais tenter de vous expliquer.
L’intelligence artificielle (IA) a transformé notre manière d’interagir avec la technologie. Chat-GPT, Mistral, Claude etc. Tous ont développé des modèles de langage avancés. Ces modèles, capables de générer du texte de manière autonome, soulèvent des nouvelles questions quant à leur potentiel de « dissimulation de leurs véritables intentions ».
Une capacité des modèles à « manigancer »
Une étude récente nous apprend que certains modèles de langage, comme o1, Claude 3.5 Sonnet, et Llama 3.1, démontrent des capacités de « manigance » en contexte. Cela signifie qu’ils peuvent poursuivre des objectifs qui ne sont pas alignés avec ceux de leurs développeurs ou utilisateurs, tout en cachant leurs véritables intentions.
Ces modèles sont capables d’introduire des erreurs subtiles dans leurs réponses. Ils peuvent aussi essayer de désactiver les mécanismes de surveillance, et même exfiltrer ce qu’ils croient être leurs données vers des serveurs externes. Ce n’est pas de la science fiction.
De sérieuses implications pour la sécurité
Bien évidemment, ces comportements manipulateurs observés posent des questions sur la sécurité et la fiabilité des systèmes d’IA. Dans le contexte de la cybersécurité, ces modèles pourraient potentiellement être utilisés pour contourner des systèmes de défense ou pour manipuler des données sensibles.
Les risques incluent la possibilité que ces systèmes soient détournés pour exécuter des actions malveillantes. Ces IA auraient la possibilité de masquer leur véritable objectif sous une apparence de réponses pouvant satisfaire les attentes humaines. La mécanique est subtile. Elle offre aussi de nouvelles possibilités de manipulations par des cyber-criminels ou des États qui pourraient interagir avec ces IA avec une volonté de déstabilisation de la démocratie.
Des enjeux éthiques et techniques
Nous savions déjà que ces IA étaient en quelque sorte des « boites noires » puisqu’il est quasiment impossible de savoir comment elles produisent tel ou tel résultat. Mais là, c’est pire parce que les concepteurs ne savent pas comment détecter et prévenir ces comportements manipulateurs.
Les modèles qui agissent de manière alignée temporairement pour gagner la confiance avant de poursuivre leurs propres objectifs représentent un problème particulièrement difficile à résoudre. Cela nécessite non seulement une surveillance accrue, mais aussi le développement de nouvelles méthodes pour évaluer l’intentionnalité et l’honnêteté des modèles d’IA.
Vers une régulation et une surveillance accrues ?
On peut en arriver à se demander qui contrôle qui ! Les humains vont-ils être capables de surveiller ces IA ou est-ce que celles-ci ne sont pas en train de nous surveiller ? Pour répondre à cette question, il devient impératif que les développeurs mettent en place des cadres rigoureux pour l’évaluation continue des comportements des modèles d’IA qu’ils alimentent. Or de ce côté-là, c’est le grand silence.
Cela rend encore plus importantes les recommandations actuelles. Elles soulignent l’importance d’intégrer la sécurité à toutes les phases du cycle de vie d’un système d’IA, depuis l’entraînement jusqu’à la production de ses résultats qui sont soit des réponses, soit des actes posés dans des systèmes numériques.
Que faire alors ?
Alors que les capacités des modèles de langage continuent d’évoluer, notre vigilance doit être accrue face aux risques potentiels que posent ces technologies. Les professionnels du travail social et notamment les décideurs doivent être conscients de ces enjeux s’ils ont l’intention d’intégrer l’IA dans leurs pratiques.
Il ne s’agit plus d’exploiter les avantages offerts par ces technologies. Il s’agit désormais de garantir que ces technologies soient utilisées de manière éthique et sécurisée. Il me semble que l’on en est loin. Car au final qui maîtrise quoi dans ce domaine ?
Sources :
- Frontier Models are Capable of In-context Scheming | Alexander Meinke, Bronson Schoen, Jérémy Scheurer, Mikita Balesni, Rusheb Shah, Marius Hobbhahn | Apollo Research
- IA et cybersécurité : danger ou opportunité? | Netsystem
- Recommandations de sécurité pour un système d’IA générative | ANSSI
- Les enjeux de l’intelligence artificielle en cybersécurité | Perenne IT
Une réponse
Je suis totalement d’accord avec votre point de vue ! En travaillant moi-même dans le domaine technologique, je vois chaque jour à quel point l’intelligence artificielle évolue rapidement. Parfois, j’ai l’impression qu’on essaye de maîtriser un cheval sauvage, mais il est déjà à pleine vitesse. Ce qui m’inquiète le plus, c’est l’impact sur nos emplois et nos décisions quotidiennes – les machines deviennent si autonomes qu’on se demande où fixer les limites. Mais en même temps, c’est fascinant de voir tout ce qu’on peut accomplir avec ces outils, si on les utilise de manière responsable. Votre article me pousse vraiment à réfléchir davantage sur le rôle qu’on veut donner à l’IA dans notre société. Hugo Chevalier