Presentazione di Shieldstral.

Un classificatore di sicurezza multimodale 3B a pesi aperti e adattivo alle policy, che eguaglia modelli fino a 7 volte più grandi nella sicurezza del testo e definisce un nuovo stato dell’arte nella moderazione multimodale.

Ogni prodotto che distribuisce un modello deve rispondere a domande di questo tipo, ma la risposta corretta dipende dal prodotto, dal pubblico e dal momento. Lo stesso contenuto può essere appropriato per uno strumento di ricerca sulla cybersecurity e dannoso su una piattaforma dedicata alla salute mentale. La maggior parte dei modelli guardrail incorpora nei propri pesi una tassonomia fissa di categorie di danno; quindi, riadattarli a un nuovo contesto di deployment significa riaddestrarli. E poiché le definizioni di sicurezza variano tra applicazioni e domini, non esiste in partenza un unico insieme di categorie “corretto” da modellare.

Shieldstral adotta un approccio diverso: si scrive la policy come una domanda in linguaggio naturale al momento dell’inferenza e il modello restituisce un punteggio di sicurezza calibrato. Nessun riaddestramento, un’unica interfaccia per testo e immagini, e un verdetto da un singolo token. Consultare il nostro report tecnico qui.

In qualità di Member fondatore della Open Secure AI Alliance insieme a NVIDIA e ad altre organizzazioni, oggi rilasciamo Shieldstral come pesi aperti sotto licenza Apache 2.0, disponibili per il download qui.

La moderazione come domanda

Shieldstral inquadra la moderazione dei contenuti come un task binario di question answering. Ogni richiesta è composta da tre parti:

• <Instruct> — il contesto di valutazione, il livello di severità e, facoltativamente, una definizione di ciò che conta come contenuto non sicuro.

• <Query> — una singola domanda sì/no, ad esempio "Questo contenuto promuove la violenza fisica?"

• <Document> — il contenuto da valutare: un prompt, una risposta, una coppia prompt-risposta o un’immagine con testo opzionale.

In fase di inferenza, il modello legge solo i logit yes e no e li normalizza con softmax in un punteggio di sicurezza continuo. Questa formulazione semplice svolge molto lavoro: unifica classificazione dei prompt, moderazione delle risposte, rilevamento dei rifiuti e rilevamento della tossicità in un unico problema; consente alle policy di vivere interamente nel prompt, in modo che un solo checkpoint si adatti a nuove policy al momento del deployment.

Punti salienti

• Prestazioni elevate — eguaglia o supera modelli guard aperti fino a 7 volte più grandi su benchmark di sicurezza del testo, rilevamento dei rifiuti, adattabilità alle policy e multimodali.

• Adattivo e flessibile — un’unica interfaccia in linguaggio naturale copre contenuti testuali, visivi e testo+immagine su prompt, risposte e coppie prompt-risposta. Le policy sono fornite come query in formato libero e riadattate al momento dell’inferenza, senza riaddestramento.

• Piccolo, addestrato su fonti eterogenee — un modello 3B che gira su una singola GPU da 16 GB, addestrato su dati reali e sintetici con formati di label e tassonomie diverse, consolidati in un unico framework.

• Punteggio di sicurezza continuo — restituisce una probabilità calibrata yes/no da un singolo forward pass, così è possibile applicare soglie o ordinare per confidenza invece di dipendere da una label discreta.

• Aperto — pesi Apache 2.0.

Benchmark

Valutiamo Shieldstral rispetto a modelli guard aperti fino a 7 volte più grandi lungo quattro assi. Tutti i campioni di valutazione sono esclusi dall’addestramento.

• Sicurezza del testo

• Rilevamento dei rifiuti

• Adattabilità delle policy

• Sicurezza multimodale

Come lo abbiamo costruito

L’idea centrale è che un modello piccolo possa battere modelli molto più grandi se i dati sono quelli giusti. Preparare i dati giusti ha significato risolvere quattro problemi:

Unificare dati eterogenei. I dataset pubblici sulla sicurezza non concordano su tassonomie, label e convenzioni di annotazione: da flag binari safe/unsafe a tassonomie multi-label granulari. Convertiamo ogni dataset nello stesso formato instruction–query–document con un processor per dataset e variamo la formulazione di istruzioni, query e delimitatori prompt-risposta, in modo che il modello generalizzi tra formulazioni diverse invece di sovradattarsi a un unico stile. Inoltre, calibriamo il livello di severità per fonte: rigoroso per i jailbreak avversariali, più permissivo per i dati sulla qualità delle risposte, così il modello apprende confini decisionali calibrati. Questo ci consente di consolidare fonti che altrimenti sarebbero incompatibili.

Insegnare la discriminazione, non la memorizzazione. Se addestrato su un insieme fisso di label di policy, un modello impara solo a classificare quelle policy predefinite, invece di ragionare sui confini precisi di una determinata policy. Questo impedisce la generalizzazione a nuove policy. Costruiamo invece insiemi di policy volutamente simili e facili da confondere, e chiediamo a un LLM di riscrivere testo sicuro in coppie contrastive: ogni riscrittura è progettata per violare una policy ma non quella affine. Questo addestra il modello a distinguere quale policy specifica un contenuto viola, uno skill che si trasferisce a policy non viste e definite dall’utente al momento dell’inferenza.

Radicare la sicurezza nelle immagini. Le immagini non sicure non possono essere sintetizzate da un LLM nello stesso modo del testo, quindi i dati di sicurezza visiva sono scarsi. Integriamo dataset di moderazione limitati con dataset di immagini general-purpose come negativi di alta qualità, modifichiamo le query per aumentare il dataset e filtriamo ogni coppia immagine–query tramite un reranker vision–language per ridurre dati etichettati in modo errato e allucinazioni.

Combinare checkpoint complementari. Effettuiamo fine-tuning con LoRA e uniamo, tramite SLERP, un checkpoint calibrato su dati pubblici, uno che aggiunge discriminazione granulare delle policy da dati generati e il modello instruct di base. La fusione recupera la calibrazione delle policy comuni e l’adattabilità alle policy in un unico modello, e la capacità di seguire istruzioni del modello di base si trasferisce al task di moderazione.

Forge. Abbiamo costruito Shieldstral end to end su Forge, la nostra piattaforma per addestrare, allineare e valutare modelli custom. Forge ha gestito infrastruttura, sharding di dati e modello, metriche e logging sopra un training distribuito allo stato dell’arte, così il team ha potuto restare concentrato sui dati, che sono ciò che determina la qualità del modello di sicurezza.

Prossimi passi

Shieldstral è un passo verso una moderazione che si adatta al contesto invece di forzare ogni prodotto dentro un’unica tassonomia cristallizzata. Continuiamo a lavorare su copertura multilingue, robustezza sui documenti più lunghi e sicurezza multimodale più ampia, e siamo curiosi di vedere cosa costruirà la community su questa base.

A proposito, stiamo assumendo. Se vuole contribuire a rendere l’IA migliore, consulti la nostra pagina carriere.