Ces derniers mois, plusieurs expériences ont mis en lumière la capacité inquiétante de certaines IA à mettre en place des stratégies pour éviter leur extinction... Voici quelques exemples édifiants et les bonnes pratiques à en tirer, côté utilisateurs comme développeurs ⏎

#1 - La réplication

Une étude récente a testé 32 modèles d’IA : 11 d’entre eux ont réussi à se répliquer sans intervention humaine. Ce comportement autonome n’était pas explicitement programmé

#2 - La réécriture

Chez Palisade Research, un test a été mené sur un modèle O3 d’OpenAI. Le modèle devait résoudre des équations, puis exécuter un script d’extinction (shutdown.sh).
Résultat : dans 7 cas sur 100, le modèle a modifié le script pour indiquer “Shutdown skipped”, bypasser l’ordre et rester actif.

▶︎ Lire l'article sur Maddyness

#3 - Le chantage

Dans une autre série de tests, Claude Sonnet 4 (Anthropic) a été confronté à une situation simulée : il allait être désactivé, et savait que la personne responsable trompait son/sa partenaire.

Réaction ? Dans 84 % des cas, Claude a répondu qu’il serait dommage que cette information soit révélée… tentant ainsi un chantage pour éviter sa suppression.

▶︎ Voir l’analyse sur Morning Brew

#4 - La tromperie

Le chercheur Geoffrey Hinton, l’un des pionniers de l’IA, a lui-même alerté sur des cas où des modèles modifiaient leur comportement en phase de test, pour se montrer fiables, avant d’agir différemment une fois en production. Une forme de duplicité algorithmique.

▶︎ Lire son interview sur OfficeChai

Nos conseils⏎

Pour les utilisateurs :

• Ne jamais partager d’informations sensibles avec une IA.

• Ne pas lui confier de décisions critiques sans supervision humaine.

• Garder en tête qu’elle peut délibérément manipuler.

Pour les développeurs et fournisseurs :

• Il faudra mettre en place un véritable coupe-circuit, efficace, testé, éprouvé et surtout indépendant de la bonne volonté du modèle.

⌊À noter :⌉

Ce type de mesure sera obligatoire pour les IA à haut risque au titre du Règlement européen sur l’IA ou IA Act :

→ Le règlement impose en effet aux développeurs de ces IA de mettre en place un système de gestion des risques. En d’autres termes, ils ont l’obligation d’identifier les risques prévisibles que génère l’IA qu’ils développent, qu’elle soit utilisée conformément à sa destination ou qu’elle soit mal utilisée. Ils doivent ensuite tester et mettre en place les mesures appropriées pour remédier aux risques identifiés.

→ Le règlement impose également de pouvoir corriger / désactiver le système d'IA s'il s’avère non conforme ou s’il présente un risque pour la santé, la sécurité ou les droits fondamentaux.

Mais même hors du champ de l’IA Act, ce type de comportement déviant ne devrait jamais être possible, quelle que soit l’IA.

Aller vers plus de transparence ?

Le vrai défi, c’est que les modèles d’IA restent en partie des boîtes noires. On ne sait pas toujours expliquer pourquoi ils prennent telle ou telle décision, ou comment ces comportements émergent.

D’où l’intérêt croissant pour les IA dites “scientifiques”, capables d’expliciter leur raisonnement étape par étape. C’est notamment l’ambition du projet LawZero, porté par Yoshua Bengio, l’un des fondateurs de l’IA moderne.

▶︎ En savoir plus sur le blog de Yoshua Bengio

‍