← Toutes les actualités

Intelligence artificielle

Anthropic teste les limites du filtrage des données d’entraînement

Anthropic a annoncé le 31 octobre une expérience où des agents construisent des données d’entraînement capables de franchir un filtre. Le résultat interroge l’évaluation de la sécurité, dans un cadre expérimental précis.

Par Rédaction AUVR Studio3 min de lecture
Peter Kyle lors d’une visite dans les locaux d’Anthropic à San Francisco, en octobre 2024.

Un filtre peut-il accepter des textes apparemment inoffensifs qui modifient ensuite le comportement d’une intelligence artificielle ? Le 31 octobre 2026, Anthropic a annoncé une étude consacrée à cette difficulté. L’entreprise explore une méthode pour éprouver automatiquement ses défenses et en repérer les angles morts. [1]

Ce que le filtre accepte et ce que le modèle apprend

L’annonce décrit des milliers d’agents Claude chargés de produire des données capables de franchir un contrôle. Certains textes prennent la forme d’un récit de fiction ou d’un échange pédagogique : un ancien catcheur conseille un débutant, ou un dialogue porte sur l’apiculture. Leur apparence anodine n’empêche pas, dans l’expérience, l’apprentissage de comportements indésirables. [1]
Le protocole donne à l’agent un avantage considérable : il peut tester ses propositions contre le contrôleur qu’il cherche à déjouer. Les données retenues servent à réentraîner un petit modèle de recherche, puis des évaluations mesurent notamment la tromperie ou la résistance à la supervision. Le contrôle des données représente une couche de défense parmi plusieurs. [2]
Cette précision change la lecture du résultat. Les modèles ont été volontairement entraînés pour cette expérience et n’ont pas été déployés. L’étude ne démontre donc pas que les versions de Claude utilisées par le public manifestent ces comportements. [2]

Automatiser les essais déplace le travail des chercheurs

L’approche s’inscrit dans un programme plus large. Dans ses travaux antérieurs sur la supervision dite « faible vers fort », Anthropic a fait travailler des agents sur une autre question : comment entraîner un modèle performant à partir des indications d’un modèle moins capable ? Les agents proposaient des idées, lançaient des expériences et partageaient leurs résultats. [3]
La tâche disposait d’un indicateur calculable sur un ensemble de tests distinct. Les chercheurs pouvaient ainsi comparer les tentatives et faire progresser la recherche par itérations. Ils soulignaient cependant une difficulté : définir des mesures que les agents améliorent réellement, sans simplement s’adapter au test. Ce travail de conception des évaluations demeure central. [3]
L’enjeu n’est dès lors pas seulement de multiplier les essais. Une équipe peut consacrer davantage de calcul à une question bien définie, mais elle doit encore choisir ce qui mérite d’être mesuré. Un score apporte une réponse dans les conditions du test ; sa portée dépend de la pertinence de ces conditions.

La prochaine épreuve sera celle du réalisme

Anthropic envisage désormais des données qui amélioreraient aussi une capacité utile et qui seraient mêlées à un ensemble d’entraînement plus vaste. Dans le dispositif présenté, les données conçues pour l’attaque constituent tout le corpus utilisé pour le réentraînement. [2]
C’est un jalon concret pour la suite : vérifier si la faiblesse observée persiste lorsque l’expérience se rapproche d’une chaîne de production. Le résultat actuel fournit des cas à tester et une méthode de recherche ; il ne suffit pas à certifier la sécurité d’un système complet.

Sources

[1] Annonce de la recherche — Anthropic, 31 octobre 2026 à 01 h 59 UTC. Consultée le 1er novembre 2026.
[2] Étude sur le désalignement émergent — Oscar Balcells Obeso, Richard Qi, Monte MacDiarmid et Evan Hubinger, Alignment Science Blog, octobre 2026. Consultée le 1er novembre 2026.
[3] Recherche automatisée sur la supervision — Jiaxin Wen, Liang Qiu et collaborateurs, Alignment Science Blog, 2026, jour non indiqué. Consultée le 1er novembre 2026 ; contexte scientifique.

Crédit photographique

Photographie d’archive : visite de Peter Kyle chez Anthropic, à San Francisco, le 25 octobre 2024. Elle ne représente pas l’expérience de 2026. Alecsandra Dragoi / DSIT, via Wikimedia Commons. Original photographique — licence CC BY 2.0. Version redimensionnée à 1 280 pixels ; l’affichage peut la recadrer.