Snowflake è l’azienda di AI data cloud che aiuta le imprese a ottenere più valore dai propri dati, elaborando ogni giorno miliardi di query per migliaia di clienti al fine di generare insight aziendali rilevanti. Al centro del successo di Cortex Analyst, il loro assistente basato su AI per dati strutturati, vi sono stati una partnership con Mistral e l’integrazione di due LLM — Mistral Large e Codestral — scelti per la loro eccellente comprensione del linguaggio naturale e capacità di generazione SQL.

Sfruttando gli LLM di Mistral, Snowflake Cortex Analyst ha ottenuto:

• Accuratezza 2 volte superiore rispetto agli LLM all’avanguardia

• Accuratezza superiore del 14% rispetto ad altre soluzioni concorrenti

• Accuratezza pari o superiore al 90% in modo costante nelle valutazioni dei clienti

Questa collaborazione ha definito un nuovo standard per l’esperienza utente nei prodotti SQL di AI generativa, rendendo più semplice per i membri non tecnici del team accedere rapidamente ad analytics self-service.

Contesto

La necessità di LLM in grado di aiutare a interpretare i dati è in crescita, poiché i clienti cercano accesso agli insight sia nei dati strutturati sia in quelli non strutturati. Il team di sviluppo di Snowflake aveva bisogno di una soluzione per Cortex Analyst capace di generare SQL con competenza, offrendo al contempo skill conversazionali per interazioni in linguaggio naturale di alta qualità. Considerata l’importanza dell’accuratezza per i team data e per gli utenti business che utilizzano i risultati delle query per orientare decisioni aziendali critiche, la soluzione doveva essere all’avanguardia e superare le metriche di valutazione esistenti.

"Con Mistral Large e Codestral, Snowflake offre capacità text-to-sql all’avanguardia per dati enterprise complessi e ricchi di sfumature.”

Yusuf Ozuysal, Director of Engineering, Snowflake

SQL: un ostacolo a insight rapidi

Per chi scrive frequentemente query SQL in un ambiente enterprise, la curva di apprendimento per trovare lo schema corretto e comprendere le sfumature di dataset complessi può essere ripida. A complicare ulteriormente il quadro, le query SQL possono essere sottili e ambigue, e la risposta “corretta” può essere scritta in più modi. Scrivere e ottimizzare query SQL può essere complesso e richiedere molto tempo per gli utenti non tecnici, rendendo un’esperienza utente fluida e intuitiva cruciale per favorire adozione e soddisfazione in una base utenti diversificata.

Per offrire un accesso più rapido agli insight, Snowflake voleva potenziare Cortex Analyst con capacità text-to-SQL ad alta accuratezza. L’obiettivo era sviluppare capacità text-to-SQL estremamente accurate, in grado di gestire dataset complessi, semplificare la curva di apprendimento per l’identificazione degli schemi e offrire un’esperienza intuitiva agli utenti non tecnici. Soprattutto, Snowflake doveva garantire un’accuratezza all’avanguardia a supporto di decisioni aziendali critiche.

Codestral e Mistral Large: risposte accurate e conversazionali

Snowflake doveva generare una query SQL, valutarne l’accuratezza e correggere eventuali problemi, quindi fornire la query e le informazioni rilevanti agli utenti business in forma conversazionale. Snowflake si è rivolta a due modelli Mistral come possibili soluzioni: Codestral, un modello open-weight progettato esplicitamente per attività di generazione di codice, e Mistral Large, per reasoning, generazione del linguaggio e generazione di codice.

Per una generazione robusta delle query, Snowflake utilizza un approccio in due passaggi: prima chiede a più agenti di generare SQL, poi chiede a un altro agente di sintetizzare l’SQL finale sulla base delle risposte degli esperti. Snowflake utilizza Mistral Large e una versione fine-tuned di Codestral per la generazione SQL iniziale, e Codestral per sintetizzare la risposta SQL finale.

Cortex Analyst doveva inoltre presentare query e importanti informazioni di contesto in forma conversazionale, usando un linguaggio naturale comprensibile a qualsiasi utente, indipendentemente dal livello di competenza tecnica. Un aspetto importante era identificare domande ambigue o senza risposta sulla base dei dati disponibili e avvisare l’utente o suggerire alternative.

“Mistral era la soluzione ideale per la generazione text-to-sql. Il nostro obiettivo era superare l’accuratezza rispetto ai benchmark esistenti. Abbiamo provato diversi altri modelli, ma anche con il fine-tuning non hanno raggiunto l’accuratezza di esecuzione richiesta.”

Yusuf Ozuysal, Director of Engineering, Snowflake

Mistral Large è stato fondamentale nel fornire sia la conoscenza SQL sia la qualità conversazionale. La spiegazione aggiuntiva di come è stata generata la query e la documentazione di riferimento danno agli utenti fiducia nell’output e la possibilità di approfondire quando necessario.

Perché Mistral

Snowflake ha scelto i modelli Mistral Large e Codestral per:

• Comprensione superiore del linguaggio naturale e capacità avanzate di generazione SQL

• Prestazioni elevate sia nella generazione di codice sia nelle attività di reasoning

• Capacità di fornire spiegazioni conversazionali di alta qualità

• Vantaggio competitivo nella competenza SQL rispetto ad altri modelli

Risultati e impatto: definire nuovi standard di accuratezza ed esperienza utente

I risultati sono stati notevoli. In base a set di valutazione interni, utilizzando Mistral Large e Codestral, Cortex Analyst risulta costantemente quasi 2 volte più accurato rispetto alla generazione SQL single-shot da LLM all’avanguardia e offre un’accuratezza superiore di circa il 14% rispetto a un’altra soluzione text-to-SQL concorrente sul mercato. Inoltre, Cortex Analyst ha raggiunto in modo affidabile un’accuratezza pari o superiore a ~90% sia nelle valutazioni dei clienti sia nei test di benchmark, un aspetto critico per i casi d’uso enterprise.

Oltre ai miglioramenti numerici, la collaborazione tra Snowflake e Mistral ha definito un nuovo standard per l’esperienza utente nei prodotti SQL di AI generativa. Ha migliorato le interazioni in linguaggio naturale per gli utenti non tecnici e la capacità di identificare domande ambigue e suggerire alternative. Questa partnership ha consentito a Snowflake di mantenere ulteriormente la promessa di democratizzare l’AI generativa per i clienti e generare valore sui loro dati enterprise.

Uno sguardo al futuro: ampliare gli orizzonti dell’analytics sui dati

Man mano che Snowflake aumenta l’accessibilità agli insight sui dati tramite applicazioni data basate su AI, la collaborazione con Mistral apre nuove possibilità. Output di qualità superiore portano a soddisfazione e adozione da parte degli utenti, consentendo ai team data di creare con fiducia applicazioni business utilizzando soluzioni all’avanguardia, senza le sfide di accuratezza, latenza e costo associate alla creazione e manutenzione di modelli interni.

Questa partnership tra Snowflake e Mistral è solo l’inizio di un percorso per offrire ai clienti un accesso rapido e ricco di insight ai dati, rendendo gli analytics self-service più accessibili ed efficienti per le imprese di diversi settori.

Per scoprire perché le aziende di tutto il mondo si affidano a Mistral per LLM aperti, efficienti e performanti, consulti le nostre customer story all’indirizzo https://llm-cib.com/customers/.