Oggi presentiamo Devstral, il nostro LLM agentico per attività di software engineering. Devstral nasce dalla collaborazione tra Mistral AI e All Hands AI 🙌, e supera con ampio margine tutti i modelli open-source su SWE-Bench Verified. Rilasciamo Devstral con licenza Apache 2.0.
LLM agentici per lo sviluppo software
Sebbene i LLM tipici siano eccellenti nelle attività di coding atomiche, come la scrittura di funzioni standalone o il completamento del codice, al momento faticano a risolvere problemi reali di software engineering. Lo sviluppo nel mondo reale richiede di contestualizzare il codice all’interno di una codebase di grandi dimensioni, identificare le relazioni tra componenti eterogenei e individuare bug sottili in funzioni intricate.
Devstral è progettato per affrontare questo problema. Devstral è addestrato a risolvere issue GitHub reali; viene eseguito su scaffold di agenti di codice come OpenHands o SWE-Agent, che definiscono l’interfaccia tra il modello e i test case. Qui mostriamo le prestazioni di Devstral sul popolare benchmark SWE-Bench Verified, un dataset di 500 issue GitHub reali verificate manualmente per correttezza.
Devstral ottiene un punteggio del 46,8% su SWE-Bench Verified, superando di oltre 6 punti percentuali i precedenti modelli SoTA open-source. Quando viene valutato con lo stesso scaffold di test (OpenHands, fornito da All Hands AI 🙌), Devstral supera modelli molto più grandi come Deepseek-V3-0324 (671B) e Qwen3 232B-A22B.
Nella tabella seguente confrontiamo inoltre Devstral con modelli chiusi e aperti valutati con qualunque scaffold (inclusi quelli personalizzati per il modello). Da questo confronto emerge che Devstral raggiunge prestazioni sostanzialmente superiori rispetto a diverse alternative closed-source. Ad esempio, Devstral supera il recente GPT-4.1-mini di oltre il 20%.
Versatile: deployment locale ↔️ uso enterprise ↔️ copiloti
Devstral è abbastanza leggero da essere eseguito su una singola RTX 4090 o su un Mac con 32GB di RAM, il che lo rende una scelta ideale per il deployment locale e l’uso on-device. Piattaforme di coding come OpenHands possono consentire al modello di interagire con codebase locali e offrire una risoluzione rapida delle issue. Per provarlo personalmente, consulti la documentazione o il video tutorial.
Le prestazioni del modello lo rendono inoltre una scelta adatta per il coding agentico su repository sensibili dal punto di vista della privacy in ambito enterprise, in particolare quando sono soggetti a requisiti rigorosi di sicurezza e compliance.
Infine, se sta sviluppando o utilizzando un IDE, un plugin o un ambiente di coding agentico, Devstral è un’ottima scelta da aggiungere al Suo selettore di modelli.
Disponibilità
Rilasciamo questo modello gratuitamente con licenza Apache 2.0 affinché la community possa svilupparlo ulteriormente, personalizzarlo e accelerare lo sviluppo software autonomo. Per provarlo personalmente, visiti la nostra scheda del modello.
Il modello è disponibile anche sulla nostra API con il nome devstral-small-2505 allo stesso prezzo di Mistral Small 3.1: $0.1/M token di input e $0.3/M token di output.
Se sceglie il self-deployment, può scaricare il modello su HuggingFace, Ollama, Kaggle, Unsloth, LM Studio a partire da oggi.
Per deployment enterprise che richiedono fine-tuning su codebase private, o personalizzazioni a maggiore fedeltà come continued pre-training o distillazione delle capacità di Devstral in altri modelli, La invitiamo a contattarci per mettersi in contatto con il nostro team di AI applicata.
Prossimi passi
Devstral è una research preview e accogliamo con interesse il feedback. Stiamo lavorando intensamente a un modello di coding agentico più grande, che sarà disponibile nelle prossime settimane.
Le interessa discutere di come possiamo aiutare il Suo team a mettere Devstral al lavoro, e del nostro portfolio di modelli, prodotti e soluzioni? Ci contatti e saremo lieti di aiutarLa.