Tra tutte le innovazioni nell'AI dell'ultimo anno, la generazione di codice è stata probabilmente la più significativa. Così come la catena di montaggio ha reso più efficiente la produzione e la calcolatrice ha trasformato la matematica, i modelli di coding rappresentano un cambiamento sostanziale nello sviluppo software.
Mistral AI è stata in prima linea in questo cambiamento con Codestral, un modello di coding all'avanguardia (SOTA) rilasciato all'inizio di quest'anno. Leggero, veloce e competente in oltre 80 linguaggi di programmazione, Codestral è ottimizzato per casi d'uso a bassa latenza e alta frequenza e supporta attività come fill-in-the-middle (FIM), correzione del codice e generazione di test. Codestral è stato utilizzato da migliaia di sviluppatori come coding companion altamente capace, aumentando regolarmente la produttività di più volte. E oggi Codestral riceve un importante upgrade.
Codestral 25.01 presenta un'architettura più efficiente e un tokenizer migliorato rispetto all'originale, generando e completando codice circa 2 volte più velocemente. Il modello è ora il leader indiscusso per il coding nella sua classe di peso e SOTA per i casi d'uso FIM in ogni ambito.
Benchmark
Abbiamo sottoposto il nuovo Codestral a benchmark con i principali modelli di coding con meno di 100B parametri, ampiamente considerati best-in-class per le attività FIM.
Panoramica
Python | SQL | Media su più linguaggi | ||||||||
Modello | Lunghezza del contesto | HumanEval | MBPP | CruxEval | LiveCodeBench | RepoBench | Spider | CanItEdit | HumanEval (media) | HumanEvalFIM (media) |
Codestral-2501 | 256k | 86.6% | 80.2% | 55.5% | 37.9% | 38.0% | 66.5% | 50.5% | 71.4% | 85.9% |
Codestral-2405 22B | 32k | 81.1% | 78.2% | 51.3% | 31.5% | 34.0% | 63.5% | 50.5% | 65.6% | 82.1% |
Codellama 70B instruct | 4k | 67.1% | 70.8% | 47.3% | 20.0% | 11.4% | 37.0% | 29.5% | 55.3% | - |
DeepSeek Coder 33B instruct | 16k | 77.4% | 80.2% | 49.5% | 27.0% | 28.4% | 60.0% | 47.6% | 65.1% | 85.3% |
DeepSeek Coder V2 lite | 128k | 83.5% | 83.2% | 49.7% | 28.1% | 20.0% | 72.0% | 41.0% | 65.9% | 84.1% |
Per linguaggio
Modello | HumanEval Python | HumanEval C++ | HumanEval Java | HumanEval Javascript | HumanEval Bash | HumanEval Typescript | HumanEval C# | HumanEval (media) |
|---|---|---|---|---|---|---|---|---|
Codestral-2501 | 86.6% | 78.9% | 72.8% | 82.6% | 43.0% | 82.4% | 53.2% | 71.4% |
Codestral-2405 22B | 81.1% | 68.9% | 78.5% | 71.4% | 40.5% | 74.8% | 43.7% | 65.6% |
Codellama 70B instruct | 67.1% | 56.5% | 60.8% | 62.7% | 32.3% | 61.0% | 46.8% | 55.3% |
DeepSeek Coder 33B instruct | 77.4% | 65.8% | 73.4% | 73.3% | 39.2% | 77.4% | 49.4% | 65.1% |
DeepSeek Coder V2 lite | 83.5% | 68.3% | 65.2% | 80.8% | 34.2% | 82.4% | 46.8% | 65.9% |
FIM (corrispondenza esatta su singola riga)
Modello | HumanEvalFIM Python | HumanEvalFIM Java | HumanEvalFIM JS | HumanEvalFIM (media) |
|---|---|---|---|---|
Codestral-2501 | 80.2% | 89.6% | 87.96% | 85.89% |
Codestral-2405 22B | 77.0% | 83.2% | 86.08% | 82.07% |
OpenAI FIM API* | 80.0% | 84.8% | 86.5% | 83.7% |
DeepSeek Chat API | 78.8% | 89.2% | 85.78% | 84.63% |
DeepSeek Coder V2 lite | 78.7% | 87.8% | 85.90% | 84.13% |
DeepSeek Coder 33B instruct | 80.1% | 89.0% | 86.80% | 85.3% |
FIM pass@1:
Modello | HumanEvalFIM Python | HumanEvalFIM Java | HumanEvalFIM JS | HumanEvalFIM (media) |
|---|---|---|---|---|
Codestral-2501 | 92.5% | 97.1% | 96.1% | 95.3% |
Codestral-2405 22B | 90.2% | 90.1% | 95.0% | 91.8% |
OpenAI FIM API* | 91.1% | 91.8% | 95.2% | 92.7% |
DeepSeek Chat API | 91.7% | 96.1% | 95.3% | 94.4% |
* GPT 3.5 Turbo è la più recente FIM API disponibile da OpenAI
Disponibile da oggi
Codestral 25.01 viene distribuito agli sviluppatori di tutto il mondo tramite i nostri partner IDE / plugin IDE. È possibile percepire la differenza in termini di qualità e velocità della risposta per il completamento del codice selezionando Codestral 25.01 nei rispettivi selettori di modello.
Per casi d'uso enterprise, in particolare quelli che richiedono la residenza di dati e modelli, Codestral 25.01 è disponibile per il deployment locale nei propri ambienti o nel VPC.
Guardi la demo qui sotto e lo provi gratuitamente in Continue per VS Code o JetBrains.
Ty Dunn, cofondatore di Continue, ha dichiarato: “Per gli assistenti di codice AI, il completamento del codice costituisce una parte rilevante del lavoro, che richiede modelli eccellenti nel fill-in-the-middle (FIM). Codestral 25.01 segna un progresso significativo in quest'area. Il nuovo modello di Mistral AI è in grado di fornire suggerimenti più precisi, molto più rapidamente: un componente critico per uno sviluppo software accurato ed efficiente. Per questo Codestral è il nostro modello di autocomplete consigliato per gli sviluppatori.”
Per creare la propria integrazione con Codestral API, acceda a la Plateforme e utilizzi codestral-latest. L'API è disponibile anche su Vertex AI di Google Cloud, in private preview su Azure AI Foundry, e sarà presto disponibile su Amazon Bedrock. Per saperne di più, legga la documentazione di Codestral.
Codestral 25.01 debutta al primo posto nella leaderboard LMsys copilot arena. Siamo impazienti di conoscere la sua esperienza.