Contribuiamo Mathstral alla comunità scientifica per rafforzare gli sforzi sui problemi matematici avanzati che richiedono un ragionamento logico complesso e multi-step. Il rilascio di Mathstral fa parte del nostro impegno più ampio a supporto dei progetti accademici: è stato prodotto nel contesto della nostra collaborazione con Project Numina.
Come Isaac Newton ai suoi tempi, Mathstral si appoggia sulle spalle di Mistral 7B ed è specializzato nelle discipline STEM. Raggiunge capacità di ragionamento allo stato dell'arte nella sua categoria dimensionale in diversi benchmark standard di settore. In particolare, ottiene il 56,6% su MATH e il 63,47% su MMLU, con la seguente differenza di prestazioni MMLU per materia tra Mathstral 7B e Mistral 7B.
Mathstral è un altro esempio degli eccellenti compromessi tra prestazioni e velocità ottenuti quando si costruiscono modelli per scopi specifici, una filosofia di sviluppo che promuoviamo attivamente in la Plateforme, in particolare con le sue nuove funzionalità di fine-tuning.
Mathstral può ottenere risultati significativamente migliori con una maggiore computazione in fase di inferenza: Mathstral 7B raggiunge 68,37% su MATH con majority voting e 74,59% con un reward model robusto tra 64 candidati.
Mathstral è un modello instructed: utilizzatelo o applicate fine-tuning di conseguenza, facendo riferimento alla nostra documentazione. I pesi sono ospitati su HuggingFace. È possibile provare subito Mathstral con mistral-inference e adattarlo con mistral-finetune.
Ringraziamo il Professor Paul Bourdon per aver curato i problemi del GRE Math Subject Test utilizzati nella nostra valutazione.