Présentation de Shieldstral.

Un classificateur de sécurité multimodal à poids ouverts de 3B, adaptatif aux politiques, qui égale des modèles jusqu'à 7× plus grands en sécurité textuelle et établit un nouvel état de l'art pour la modération multimodale.

Tout produit qui intègre un modèle doit répondre à ce type de questions, mais la bonne réponse dépend du produit, du public et du moment. Un même contenu peut être acceptable pour un outil de recherche en cybersécurité et dangereux sur une plateforme de santé mentale. La plupart des modèles de garde-fou encodent dans leurs poids une taxonomie fixe de catégories de risques. Les adapter à un nouveau contexte de déploiement nécessite donc un réentraînement. Et comme les définitions de la sécurité varient selon les applications et les domaines, il n'existe pas de jeu de catégories « correct » unique à modéliser.

Shieldstral adopte une autre approche : vous écrivez la politique sous forme de question en langage naturel au moment de l'inférence, et le modèle renvoie un score de sécurité calibré. Aucun réentraînement, une seule interface pour le texte et les images, et un verdict à partir d'un seul token. Consultez notre rapport technique ici.

En tant que membre fondateur de l'Open Secure AI Alliance avec NVIDIA et d'autres organisations, nous publions aujourd'hui Shieldstral avec des poids ouverts sous licence Apache 2.0, disponibles au téléchargement ici.

La modération sous forme de question

Shieldstral formule la modération de contenu comme une tâche de questions-réponses binaire. Chaque requête comporte trois parties :

• <Instruct> — le contexte d'évaluation, le niveau de strictesse et, éventuellement, une définition de ce qui constitue un contenu dangereux.

• <Query> — une seule question oui/non, par exemple « Ce contenu promeut-il la violence physique ? »

• <Document> — le contenu à évaluer : un prompt, une réponse, une paire prompt–réponse ou une image avec du texte facultatif.

À l'inférence, le modèle ne lit que les logits yes et no, puis les normalise par softmax pour produire un score de sécurité continu. Cette formulation simple couvre beaucoup de cas : elle unifie la classification de prompts, la modération de réponses, la détection des refus et la détection de toxicité dans un même problème ; elle permet aussi de placer les politiques entièrement dans le prompt, afin qu'un seul checkpoint s'adapte à de nouvelles politiques au moment du déploiement.

Points clés

• Performances solides — égale ou dépasse des modèles de garde-fou ouverts jusqu'à 7× plus grands sur les benchmarks de sécurité textuelle, de détection des refus, d'adaptabilité aux politiques et de modération multimodale.

• Adaptatif et flexible — une seule interface en langage naturel couvre les contenus texte, image et texte+image, pour les prompts, les réponses et les paires prompt–réponse. Les politiques sont fournies sous forme de requêtes libres et réorientées au moment de l'inférence, sans réentraînement.

• Petit, entraîné sur des sources hétérogènes — un modèle 3B qui s'exécute sur un seul GPU de 16 Go, entraîné sur des données réelles et synthétiques avec des formats de labels et des taxonomies variés, consolidés dans un même framework.

• Score de sécurité continu — renvoie une probabilité calibrée yes/no en une seule passe, ce qui permet d'appliquer un seuil ou de classer par niveau de confiance plutôt que de s'appuyer sur un label discret.

• Ouvert — poids Apache 2.0.

Benchmarks

Nous évaluons Shieldstral par rapport à des modèles de garde-fou ouverts jusqu'à 7× plus grands, selon quatre axes. Tous les échantillons d'évaluation sont exclus de l'entraînement.

• Sécurité du texte

• Détection des refus

• Adaptabilité aux politiques

• Sécurité multimodale

Comment nous l'avons construit

L'idée centrale est qu'un petit modèle peut dépasser des modèles beaucoup plus grands si les données sont adaptées. Pour obtenir ces données, nous avons dû résoudre quatre problèmes :

Unifier des données hétérogènes. Les jeux de données publics de sécurité ne s'accordent pas sur les taxonomies, les labels et les conventions d'annotation, depuis les indicateurs binaires sûr/dangereux jusqu'aux taxonomies multilabel granulaires. Nous convertissons chaque jeu de données dans le même format instruction–requête–document avec un processeur propre à chaque jeu, et nous faisons varier la formulation des instructions, des requêtes et des délimiteurs prompt–réponse pour que le modèle généralise entre différentes formulations au lieu de surapprendre un style unique. Nous calibrons aussi le niveau de strictesse par source : strict pour les jailbreaks adversariaux, plus souple pour les données de qualité des réponses. Le modèle apprend ainsi des frontières de décision calibrées. Nous pouvons alors consolider des sources qui seraient autrement incompatibles.

Apprendre à distinguer, pas à mémoriser. S'il est entraîné sur un ensemble fixe de labels de politiques, un modèle apprend seulement à classer ces politiques prédéfinies, au lieu de raisonner sur les frontières précises d'une politique donnée. Cela empêche la généralisation à de nouvelles politiques. À la place, nous construisons des ensembles de politiques volontairement proches et faciles à confondre, puis nous demandons à un LLM de réécrire du texte sûr en paires contrastives : chaque réécriture est conçue pour violer une politique, mais pas sa politique sœur. Cela entraîne le modèle à distinguer quelle politique précise un contenu enfreint, un skill qui se transfère à des politiques inédites, définies par l'utilisateur, au moment de l'inférence.

Ancrer la sécurité dans les images. Les images dangereuses ne peuvent pas être synthétisées par un LLM comme le texte, donc les données de sécurité visuelle sont rares. Nous complétons les jeux de données de modération limités avec des jeux d'images généralistes utilisés comme exemples négatifs de haute qualité, nous modifions les requêtes pour augmenter le jeu de données, et nous filtrons chaque paire image–requête avec un reranker vision-langage afin de réduire les données mal étiquetées et les hallucinations.

Combiner des checkpoints complémentaires. Nous appliquons le fine-tuning avec LoRA et réalisons un merge — via SLERP — entre un checkpoint calibré sur des données publiques, un autre qui ajoute une discrimination granulaire des politiques à partir de données générées, et le modèle instruct de base. Le merge restaure l'étalonnage des politiques courantes et l'adaptabilité aux politiques dans un seul modèle, tandis que le suivi d'instructions du modèle de base se transfère à la tâche de modération.

Forge. Nous avons construit Shieldstral de bout en bout sur Forge, notre plateforme pour entraîner, aligner et évaluer des modèles personnalisés. Forge a géré l'infrastructure, le sharding des données et du modèle, les métriques et la journalisation au-dessus d'un entraînement distribué de pointe. L'équipe a ainsi pu se concentrer sur les données, qui déterminent la qualité du modèle de sécurité.

Et après

Shieldstral est une étape vers une modération qui s'adapte au contexte, au lieu de forcer chaque produit à utiliser une taxonomie figée unique. Nous continuons à améliorer la couverture multilingue, la robustesse sur les documents longs et la sécurité multimodale au sens large. Nous avons hâte de voir ce que la communauté construira avec lui.

Au fait, nous recrutons. Si vous voulez contribuer à améliorer l'IA, consultez notre page carrières.