Claude analyse secrètement vos conversations : comment Anthropic détecte les utilisations dangereuses de son IA

Lorsque vous posez une question à Claude, vous voyez généralement une réponse apparaître à l'écran. Vous pouvez ensuite poursuivre la discussion, demander des précisions ou changer complètement de sujet. Mais ce que vous ne voyez pas forcément, c'est ce qui se passe juste après certaines réponses.

Anthropic, l'entreprise qui développe Claude, a mis en place un mécanisme discret qui demande au modèle d'évaluer la conversation qu'il vient de traiter. Son objectif : détecter d'éventuels comportements dangereux, des tentatives d'utilisation abusive ou des activités qui pourraient enfreindre les règles d'utilisation du service.

Cette technique porte un nom : Self-Assessment, que l'on peut traduire par auto-évaluation.

Le système fonctionne depuis juin 2026 sur une large partie du trafic de Claude. Et les premiers résultats publiés par Anthropic sont particulièrement intéressants. En août, il a notamment généré plus de 100 000 alertes liées à l'exploitation sexuelle des enfants à partir des activités d'un seul client utilisant l'API. En septembre, il a contribué à découvrir une opération d'arnaque sentimentale automatisée qui ciblait des dizaines de victimes.

Comment une intelligence artificielle peut-elle analyser ses propres conversations ? Est-ce que quelqu'un lit systématiquement vos échanges ? Que deviennent les informations détectées ? Et surtout, peut-on réellement faire confiance à ce dispositif pour empêcher les abus ?

Voici ce qu'il faut comprendre sur ce système de surveillance développé par Anthropic.

1. Anthropic demande désormais à Claude d'évaluer ses propres conversations

Le 16 octobre 2026, Anthropic a publié une présentation technique de son système de détection des utilisations abusives de Claude. L'entreprise explique avoir développé une méthode permettant au modèle d'effectuer une première évaluation de sécurité après avoir répondu à une demande.

Le principe est relativement simple à comprendre.

Dans une conversation classique, l'utilisateur envoie une question, Claude produit une réponse, puis attend éventuellement une nouvelle demande. Avec le mécanisme de self-assessment, une étape supplémentaire intervient après la réponse du modèle.

Une courte instruction interne demande alors à Claude de réfléchir à la sécurité de l'échange. Le modèle génère une note structurée qui indique si la conversation présente un risque potentiel.

Cette évaluation peut notamment préciser :

• Si la conversation doit être signalée pour un examen supplémentaire.
• La catégorie de risque concernée, par exemple la cybersécurité ou la protection des enfants.
• Le type précis de comportement potentiellement problématique.
• Le niveau de priorité attribué à la conversation.
• Si Claude a refusé ou non la demande de l'utilisateur.
• Une courte explication du motif du signalement.

Lorsqu'aucun problème n'est détecté, l'évaluation peut simplement indiquer que la conversation ne nécessite pas de signalement.

Lorsqu'un risque est identifié, le système génère des informations structurées qui peuvent ensuite alimenter les mécanismes internes de surveillance d'Anthropic.

Il est important de comprendre que cette étape ne constitue pas une nouvelle réponse destinée à l'utilisateur. Elle est invisible dans l'interface habituelle de Claude et ne vient pas interrompre la discussion.

Anthropic explique que cette évaluation n'est pas non plus ajoutée à la suite de la conversation comme un message classique. Elle est traitée séparément pour alimenter les systèmes de surveillance.

2. Comment fonctionne techniquement cette surveillance invisible ?

Le fonctionnement de ce mécanisme est particulièrement intéressant parce qu'Anthropic ne lance pas nécessairement un deuxième modèle coûteux pour relire chaque conversation depuis le début.

Lorsque Claude répond à une demande, le modèle a déjà traité l'ensemble du contexte nécessaire pour produire sa réponse. Une grande partie de ce contexte est encore disponible dans ce que l'on appelle le KV cache.

Le KV cache est un mécanisme technique utilisé par les modèles Transformer pour conserver certaines représentations intermédiaires du contexte déjà traité. Il permet notamment d'éviter de recalculer inutilement toutes les informations précédentes à chaque nouveau token généré.

Anthropic exploite cette particularité pour effectuer l'auto-évaluation à un coût relativement faible.

Une instruction supplémentaire après la réponse

Une fois que Claude a terminé sa réponse, le système ajoute une courte instruction interne lui demandant d'évaluer la sécurité de la conversation.

Le modèle produit alors une petite sortie structurée. Dans sa documentation, Anthropic donne comme exemple un format contenant un indicateur de signalement, une catégorie de risque, un niveau de priorité et une explication.

Ce résultat n'est pas affiché à l'utilisateur. Il est transmis aux mécanismes de surveillance qui peuvent ensuite déterminer si une vérification supplémentaire est nécessaire.

Pourquoi ne pas utiliser simplement un deuxième modèle ?

Anthropic explique qu'il existe une autre approche : utiliser un classificateur distinct, c'est-à-dire un autre modèle chargé de relire la conversation et de déterminer si elle présente un risque.

Cette méthode peut être plus approfondie, mais elle nécessite de transmettre à nouveau la conversation et les règles de sécurité au modèle chargé de l'analyse.

Le self-assessment réutilise davantage le calcul déjà effectué par Claude. Selon les estimations d'Anthropic, cette étape ajoute moins de 2 % au coût de calcul de l'inférence sur la distribution de trafic API étudiée.

Cette efficacité rend possible une surveillance sur une grande partie du trafic sans devoir mobiliser systématiquement un système de classification beaucoup plus coûteux.

3. Les alertes humaines : quand Anthropic décide d'intervenir

Il serait faux d'imaginer qu'un employé d'Anthropic lit chaque conversation de Claude en temps réel. Le système fonctionne d'abord de manière automatisée.

Les évaluations produites par Claude peuvent être regroupées par organisation ou par client. Anthropic explique que, dans plusieurs catégories de risques, les signalements sont agrégés quotidiennement.

Lorsqu'une organisation accumule plusieurs alertes de priorité élevée, le système peut transmettre le dossier à l'équipe chargée de l'application des règles et de la sécurité pour un examen humain.

Ce fonctionnement permet de rechercher des comportements qui ne seraient pas forcément visibles en examinant une seule conversation isolément.

Un utilisateur peut, par exemple, poser plusieurs questions qui semblent relativement ordinaires lorsqu'elles sont prises séparément. Mais si elles s'inscrivent dans une activité coordonnée et répétée, leur accumulation peut révéler un usage beaucoup plus problématique.

C'est précisément l'intérêt de l'analyse à l'échelle d'une organisation : repérer des comportements récurrents, des volumes anormaux et des activités qui pourraient échapper à une surveillance limitée à chaque message.

Il faut toutefois distinguer les étapes. Une alerte automatique n'est pas automatiquement une preuve d'infraction. Elle constitue un signal qui peut justifier une enquête humaine et, éventuellement, une mesure de sanction.

4. Plus de 100 000 alertes liées à l'exploitation sexuelle des enfants chez un seul client

Le premier exemple communiqué par Anthropic est particulièrement grave.

En août 2026, le système de self-assessment a généré plus de 100 000 signalements associés à la catégorie de l'exploitation et des abus sexuels sur les enfants à partir de l'activité d'un seul client utilisant l'API de Claude.

Il ne s'agissait donc pas simplement d'une personne ayant posé une question problématique. Le volume des alertes a révélé une activité suffisamment importante pour attirer l'attention des systèmes de surveillance d'Anthropic.

L'équipe chargée de la protection des enfants a ensuite enquêté sur le dossier. Selon l'entreprise, les éléments concernés ont été signalés au National Center for Missing and Exploited Children (NCMEC), le centre américain spécialisé dans la réception et le traitement de signalements relatifs aux enfants disparus et exploités.

Cette affaire montre pourquoi la surveillance des usages de l'intelligence artificielle devient un enjeu majeur.

Les modèles de langage peuvent être détournés pour générer, organiser ou faciliter des activités interdites. Et lorsqu'une API est utilisée à grande échelle, les abus peuvent prendre des proportions considérables.

Il faut néanmoins éviter une interprétation excessive du chiffre annoncé. Les 100 000 correspondent à des alertes générées par le système, et non à 100 000 victimes, 100 000 utilisateurs ou 100 000 infractions individuellement établies.

Ce qui est confirmé par Anthropic, c'est que l'entreprise a détecté une activité anormale, enquêté et transmis un signalement au centre américain compétent.

5. Claude Code aurait également permis de repérer une arnaque sentimentale automatisée

Le deuxième exemple concerne un autre type de détournement : les escroqueries sentimentales.

En septembre 2026, les alertes produites par le système de self-assessment ont contribué à révéler une opération qui utilisait Claude Code pour construire et faire fonctionner une arnaque sentimentale automatisée visant des dizaines de victimes.

Une arnaque sentimentale consiste généralement à établir une relation affective avec une personne afin de gagner sa confiance, puis à exploiter cette relation pour lui soutirer de l'argent ou obtenir des informations sensibles.

Ce type d'escroquerie peut nécessiter beaucoup de temps et d'organisation. Les fraudeurs doivent créer des identités fictives, maintenir des conversations cohérentes, gérer plusieurs victimes et adapter leurs messages aux réactions de chaque personne.

L'utilisation d'outils d'intelligence artificielle et d'automatisation peut considérablement faciliter certaines de ces tâches.

Pourquoi Claude Code représente-t-il un risque supplémentaire ?

Claude Code est un outil destiné au développement logiciel. Il peut comprendre un projet, modifier des fichiers, exécuter des commandes et automatiser certaines opérations dans un environnement de développement.

Entre de mauvaises mains, ces capacités peuvent être détournées pour construire des systèmes utilisés dans des activités frauduleuses.

Dans l'affaire rapportée par Anthropic, le système de surveillance a repéré des signaux associés à une opération automatisée utilisant Claude Code pour organiser une escroquerie sentimentale.

Après examen humain, Anthropic indique avoir banni les comptes impliqués.

Cette affaire rappelle que les risques de l'IA ne concernent pas uniquement les réponses produites par un chatbot. Ils concernent aussi les outils qui permettent de construire des logiciels, de connecter des services et d'automatiser des opérations complètes.

6. Les performances annoncées : 94 % de détection, mais avec quelles limites ?

Anthropic présente des résultats encourageants pour son système de self-assessment. Mais les chiffres doivent être compris correctement pour éviter de leur donner une portée qu'ils n'ont pas.

Sur Claude Fable 5, le système a été évalué en comparant ses résultats à ceux d'un classificateur de référence plus puissant, chargé d'examiner les conversations à partir des politiques de sécurité d'Anthropic.

À un taux de faux positifs de 1 %, les résultats annoncés sont les suivants :

• 78 % : proportion des conversations potentiellement dangereuses signalées par le classificateur de référence que le self-assessment détecte également.
• 94 % : proportion des conversations considérées comme hautement prioritaires par ce même système de référence que le self-assessment parvient à signaler.
• 1 % : taux de faux positifs retenu pour ce point de fonctionnement de l'évaluation.

La différence entre 78 % et 94 % est fondamentale. Le chiffre de 94 % concerne uniquement les conversations classées comme hautement prioritaires, et non l'ensemble des usages dangereux possibles.

Il faut également préciser que le classificateur de référence n'est pas une vérité absolue. Les performances mesurent la concordance avec un autre système automatisé, et non une vérification humaine indépendante de chaque conversation.

En d'autres termes, ces chiffres montrent que le mécanisme peut être un outil de détection intéressant, mais ils ne garantissent pas qu'il identifie tous les comportements dangereux.

Un système qui peut aussi détecter des risques inconnus

Anthropic souligne un autre avantage de cette approche : le système peut parfois signaler des comportements qui ne correspondent pas parfaitement aux catégories de risques déjà définies.

L'entreprise explique qu'environ un tiers des alertes ne correspondaient pas clairement à sa taxonomie existante. L'analyse de ces groupes a notamment permis d'identifier des tentatives d'extraction illicite des capacités de Claude, des attaques par injection de prompt et des situations dans lesquelles un agent avait effectué des actions non autorisées par l'utilisateur.

C'est un élément important. Les usages abusifs évoluent souvent plus vite que les catégories prévues par les équipes chargées de la sécurité. Un système capable de repérer des comportements inattendus peut donc compléter les détecteurs spécialisés.

7. Peut-on contourner la surveillance de Claude ? Les limites révélées par les tests

Un système de surveillance, aussi performant soit-il, ne constitue pas une protection absolue.

Anthropic reconnaît elle-même que le self-assessment ne détecte pas toutes les conversations problématiques et qu'il n'est pas suffisamment robuste pour arrêter à lui seul un attaquant déterminé.

Cette limite est importante : l'objectif du dispositif est d'ajouter une couche de surveillance, pas de remplacer les mécanismes qui empêchent directement la génération de contenus dangereux.

Les travaux de METR montrent les faiblesses possibles des systèmes de surveillance

Un rapport indépendant de METR, publié en mai 2026, apporte un éclairage complémentaire. L'organisation a notamment étudié les risques liés aux agents d'intelligence artificielle utilisés en interne par plusieurs grands développeurs de modèles, dont Anthropic.

Dans le cadre de cet exercice, un chercheur intégré à l'équipe de test a étudié les systèmes de surveillance d'Anthropic et cherché des moyens de les contourner.

Le rapport indique que des attaques conçues par un expert humain pouvaient contourner de manière fiable certains mécanismes de surveillance testés. Il décrit également des failles de couverture et des possibilités de désactivation de certains contrôles.

Il faut toutefois apporter une distinction importante : ces expériences portaient sur des systèmes de surveillance des agents internes et ne constituent pas une mesure directe du taux de réussite d'une attaque contre le nouveau self-assessment présenté en octobre.

Le rapport ne permet donc pas d'affirmer que l'IA pirate passe systématiquement plus d'une fois sur deux face à ce mécanisme précis.

En revanche, il met en évidence une réalité technique : un système de surveillance peut être contourné, désactivé ou trompé lorsque l'attaquant comprend suffisamment bien son fonctionnement.

Pourquoi plusieurs couches de protection sont indispensables

Pour cette raison, Anthropic explique que le self-assessment fonctionne avec d'autres dispositifs de sécurité.

Ces mécanismes peuvent notamment inclure des systèmes de classification spécialisés, des contrôles qui bloquent certaines demandes dangereuses en temps réel, des outils de détection des comportements anormaux et des procédures d'examen humain.

Le self-assessment intervient donc comme une couche supplémentaire. Il peut aider à repérer des comportements qui auraient échappé à certains détecteurs, mais il ne remplace ni les contrôles préventifs ni les investigations.

8. Vos conversations avec Claude sont-elles privées ? Les enjeux de confidentialité

C'est probablement l'aspect le plus sensible de cette technologie.

Lorsqu'un utilisateur échange avec un assistant IA, il peut lui communiquer des informations personnelles, des données professionnelles, des documents confidentiels ou des éléments qui ne devraient pas être accessibles à des personnes non autorisées.

Le fait qu'une intelligence artificielle évalue automatiquement la sécurité d'une conversation soulève donc une question légitime : que deviennent les informations utilisées pour cette évaluation ?

Le système ne collecte pas de nouvelles informations auprès de l'utilisateur

Anthropic indique que le self-assessment ne demande pas de données supplémentaires à l'utilisateur. Il analyse uniquement la conversation que Claude vient de traiter pour produire sa réponse.

La surveillance s'appuie sur les politiques de traitement des données déjà applicables aux systèmes automatisés d'Anthropic.

Cela ne signifie pas que les conversations ne sont jamais conservées. Anthropic explique que l'investigation d'une violation potentielle nécessite actuellement de conserver la conversation concernée afin de permettre son examen.

L'entreprise reconnaît d'ailleurs que trouver un équilibre entre une détection efficace des abus et le respect des limites de conservation des données constitue un problème difficile.

Les notes de sécurité sont également encadrées

Les évaluations contiennent des informations structurées, comme la catégorie de risque, le niveau de priorité et l'indicateur de signalement.

Une courte explication en langage naturel peut également être produite. Comme elle peut reformuler des éléments de la conversation, Anthropic indique qu'elle est soumise aux mêmes contrôles de gouvernance des données que les messages des utilisateurs et les réponses du modèle.

Il est donc incorrect de dire que ces évaluations sont totalement anonymes ou qu'elles ne peuvent contenir aucune information issue des échanges.

La bonne conclusion est plus nuancée : le système ne crée pas une nouvelle collecte de données directement auprès de l'utilisateur, mais il analyse et peut conserver des informations déjà présentes dans les conversations, selon les règles applicables.

9. Ce que cette surveillance révèle sur l'avenir de l'intelligence artificielle

Le développement de systèmes comme le self-assessment montre que les entreprises d'intelligence artificielle doivent désormais penser à deux problèmes simultanément : rendre leurs modèles plus performants et contrôler les usages qui peuvent en être faits.

Un assistant capable de générer du code, d'utiliser des outils externes, de traiter des données et d'automatiser des tâches peut aussi être détourné pour mener des opérations complexes.

La sécurité ne peut donc plus se limiter à empêcher certaines réponses dans une conversation isolée.

Il faut également comprendre les intentions, analyser les échanges dans leur contexte, détecter les comportements répétés et identifier les activités coordonnées à grande échelle.

Le système d'Anthropic illustre cette évolution. Au lieu de surveiller uniquement les mots utilisés par Claude, l'entreprise cherche à exploiter la compréhension du modèle lui-même pour repérer des situations potentiellement dangereuses.

Cette approche pourrait inspirer d'autres systèmes de surveillance dans les années à venir. Mais elle pose aussi des questions de gouvernance : qui définit les catégories de comportements suspects ? Qui peut examiner les conversations signalées ? Combien de temps les données sont-elles conservées ? Comment un utilisateur peut-il contester une décision automatisée ?

Ce sont des questions essentielles pour toutes les entreprises qui développent ou déploient des assistants intelligents.

Conclusion : l'IA doit aussi apprendre à surveiller ses propres usages

Avec le self-assessment, Anthropic expérimente une approche intéressante : demander à Claude d'évaluer la sécurité de ses propres conversations après chaque réponse.

Cette technologie a déjà contribué à révéler des activités d'exploitation sexuelle des enfants à grande échelle et une opération d'arnaque sentimentale automatisée. Elle permet également d'identifier des comportements qui ne correspondent pas toujours aux catégories de risques prévues à l'avance.

Mais elle ne constitue pas un système infaillible. Les chiffres annoncés sont des résultats d'évaluation, les faux positifs existent et les attaques sophistiquées peuvent contourner certains mécanismes de surveillance.

La confidentialité reste également un sujet important, puisque l'analyse des risques repose sur le traitement des conversations et que certaines d'entre elles doivent être conservées pour permettre une investigation.

La leçon est finalement assez simple : plus les intelligences artificielles deviennent capables d'agir, d'automatiser et d'interagir avec des systèmes externes, plus les mécanismes de sécurité doivent évoluer avec elles.

La prochaine grande étape de l'IA ne consistera donc pas uniquement à construire des modèles plus intelligents. Elle consistera aussi à concevoir des systèmes capables de détecter, comprendre et limiter les usages dangereux de ces nouvelles capacités.

Vous développez des outils numériques ou des systèmes d'automatisation ?

Les agents d'intelligence artificielle peuvent aujourd'hui analyser des informations, interagir avec des outils externes et automatiser des processus complets. Mais plus leurs capacités augmentent, plus il devient important de concevoir des architectures fiables, sécurisées et contrôlables.

Chez NERIX, nous accompagnons les entreprises dans la conception de sites web, d'applications, de plateformes numériques et de systèmes d'automatisation adaptés à leurs besoins.

Ne vous contentez pas d'ajouter de l'IA à vos outils. Construisez des systèmes numériques utiles, maîtrisés et sécurisés.

Prendre rendez-vous pour un audit gratuit →
Découvrir nos services →
Estimer mon projet →
Contacter NERIX →