Presentiamo i migliori modelli edge al mondo
Nel primo anniversario del rilascio di Mistral 7B, il modello che ha rivoluzionato l’innovazione indipendente nell’AI all’avanguardia per milioni di persone, siamo orgogliosi di presentare due nuovi modelli state-of-the-art per l’elaborazione on-device e i casi d’uso all’edge. Li chiamiamo les Ministraux: Ministral 3B e Ministral 8B.
Questi modelli stabiliscono un nuovo livello di riferimento in conoscenza, senso comune, reasoning, function-calling ed efficienza nella categoria sub-10B, e possono essere utilizzati o ottimizzati per una varietà di applicazioni, dall’orchestrazione di workflow agentici alla creazione di task worker specialistici. Entrambi i modelli supportano una lunghezza del contesto fino a 128k (attualmente 32k su vLLM) e Ministral 8B dispone di uno speciale pattern di attenzione sliding-window interleaved per un’inferenza più rapida ed efficiente in termini di memoria.
Casi d’uso
I nostri clienti e partner più innovativi richiedono sempre più spesso inferenza locale e privacy-first per applicazioni critiche come traduzione on-device, smart assistant senza connessione Internet, analytics locali e robotica autonoma. Les Ministraux sono stati progettati per offrire una soluzione efficiente in termini di compute e a bassa latenza per questi scenari. Dagli hobbyist indipendenti ai Team di produzione globali, les Ministraux supportano un’ampia varietà di casi d’uso.
Usati insieme a modelli linguistici più grandi come Mistral Large, les Ministraux sono anche intermediari efficienti per il function-calling in workflow agentici multi-step. Possono essere ottimizzati per gestire il parsing degli input, il routing dei task e la chiamata di API in base all’intento della persona utente in molteplici contesti, con latenza e costi estremamente ridotti.
Benchmark
Dimostriamo le prestazioni di les Ministraux su molteplici task, nei quali superano costantemente i modelli comparabili. Abbiamo rivalutato tutti i modelli con il nostro framework interno per garantire un confronto equo.
Modelli pre-addestrati
Tabella 1: Modelli Ministral 3B e 8B confrontati con Gemma 2 2B, Llama 3.2 3B, Llama 3.1 8B e Mistral 7B su più categorie
Figura 1: Modelli base Ministral 3B e 8B confrontati con Gemma 2 2B, Llama 3.2 3B, Llama 3.1 8B e Mistral 7B
Modelli Instruct
Tabella 2: Modelli Ministral 3B e 8B Instruct confrontati con Gemma 2 2B, Llama 3.2 3B, Llama 3.1 8B, Gemma 2 9B e Mistral 7B su diverse categorie di valutazione.
Figura 2: Un confronto della famiglia 3B di modelli Instruct - Gemma 2 2B, Llama 3.2 3B e Ministral 3B. La figura evidenzia i miglioramenti di Ministral 3B rispetto al ben più grande Mistral 7B.
Figura 3: Un confronto della famiglia 8B di modelli Instruct - Gemma 2 9B, Llama 3.1 8B, Mistral 7B e Ministral 8B.
Disponibilità e prezzi
Entrambi i modelli sono disponibili da oggi.
Modello | API | Prezzi su la Plateforme | Licenza |
|---|---|---|---|
Ministral 8B | ministral-8b-latest | $0.1 / M token (input e output) | Licenza commerciale Mistral |
Ministral 3B | ministral-3b-latest | $0.04 / M token (input e output) | Licenza commerciale Mistral |
Per l’uso self-deployed, La invitiamo a contattarci per le licenze commerciali. La assisteremo anche nella quantizzazione lossless dei modelli per i Suoi casi d’uso specifici, così da ottenere le massime prestazioni.
I pesi del modello per Ministral 8B Instruct sono disponibili per uso di ricerca. Entrambi i modelli saranno presto disponibili presso i nostri partner cloud.
Altro in arrivo
In Mistral AI continuiamo a spingere lo state-of-the-art per i modelli all’avanguardia. È passato solo un anno dal rilascio di Mistral 7B, eppure il nostro modello più piccolo oggi (Ministral 3B) lo supera già nella maggior parte dei benchmark. Non vediamo l’ora che provi les Ministraux e ci invii un feedback.
