Points clés :

• Accélération du développement de modèles multilingues Mixture of Experts (MoE)

• Conçu avec Forge, le système de bout en bout de Mistral pour entraîner des modèles de pointe personnalisés

« Collaborer avec Mistral nous a donné un accès direct à l’expertise en architecture MoE, ce qui nous a aidés à accélérer notre calendrier de développement de modèle. » — Dr Hai Leong Chieu, Membre éminent de l’équipe technique, DSO National Laboratories (DSO)

DSO National Laboratories est le plus grand organisme de R&D de défense de Singapour. Plus de 1 800 ingénieurs et scientifiques y travaillent sur des capacités liées à la sécurité nationale du pays. À mesure que l’IA prenait de l’importance dans les opérations de défense et que les exigences de mission devenaient plus complexes, DSO devait entraîner à partir de zéro ses propres grands modèles de langage multilingues, déployables entièrement sur site. Pour accélérer le développement, DSO s’est associé à Mistral afin de codévelopper un modèle MoE multilingue spécialisé avec Forge, le système de bout en bout de Mistral pour développer et entraîner des modèles de pointe personnalisés.

Les raisons d’une IA autonome.

L’écosystème de défense de Singapour fait face à un environnement opérationnel de plus en plus complexe, où les équipes doivent analyser de vastes volumes de données sous une forte contrainte de temps. Pour le Dr Chieu, qui dirige les travaux de recherche en traitement automatique du langage naturel et en LLM au sein de la division Information de DSO, la mission consistait à créer une IA autonome, capable de fonctionner indépendamment de tout fournisseur externe ou de toute perturbation de la chaîne d’approvisionnement.

« Notre stratégie a toujours été de développer la capacité d’entraîner nos propres grands modèles de langage depuis le départ, » explique le Dr Chieu. « Nous voulons être en mesure de fournir à nos clients des solutions d’IA performantes, déployées sur site. » 

L’équipe de DSO préentraînait déjà ses propres modèles et suivait la recherche open source depuis des années. Les bases étaient solides, mais maîtriser l’architecture MoE, que DSO avait identifiée comme essentielle pour la prochaine génération de LLM, exigeait une expérience pratique à grande échelle que l’équipe n’avait pas encore acquise.

Pourquoi Mistral, et pourquoi MoE.

DSO a choisi Mistral pour ses références. Mistral avait déjà créé et déployé des modèles MoE en production, à grande échelle, donnant à DSO un accès direct à une expérience décisive pour cet effort.

« Nous avons compris très tôt que l’architecture MoE était la direction que prenait le domaine, » se souvient le Dr Chieu. « Mistral avait déjà démontré la réussite concrète de cette architecture, et ces références correspondaient exactement à ce que nous recherchions chez un partenaire. » 

Les deux équipes ont codéveloppé un modèle MoE avec la stack de développement de modèles de Mistral, ensuite intégrée à Forge. Les données d’entraînement incluaient des contenus linguistiques obtenus via AI Singapore (AISG). Les deux équipes ont travaillé dans un environnement de développement partagé, ce qui a permis des itérations et des retours plus rapides.

Au-delà de la configuration technique, le Dr Chieu a particulièrement apprécié le transfert de connaissances. « Le rythme de la recherche dans ce domaine fait que ce qui est publié accuse souvent un retard sur ce qui fonctionne réellement en pratique, » explique-t-il. « Collaborer avec Mistral nous a donné un accès direct à ces connaissances, ce qui nous a aidés à nous concentrer sur des approches éprouvées qui produisent des résultats. »

De l’entraînement de modèle personnalisé à l’IA en edge.

Le modèle MoE personnalisé a obtenu des performances de premier plan dans sa catégorie sur les benchmarks de langues d’Asie du Sud-Est, atteignant le seuil de performance requis pour les cas d’usage opérationnels de DSO. Au-delà des résultats chiffrés, la collaboration a renforcé les capacités internes de DSO, à la fois dans ce que l’équipe a construit et dans ce qu’elle peut désormais construire de manière autonome.

Sur cette base, DSO et Mistral ont depuis engagé une deuxième phase de travail. « Notre prochain défi consiste à créer de petits modèles de raisonnement performants, capables de s’exécuter efficacement en edge sur des systèmes autonomes déployés sur le terrain, » indique le Dr Chieu. « C’est un objectif ambitieux, que nous abordons avec confiance aux côtés de Mistral. » 

Ces travaux s’inscrivent dans une trajectoire plus large : établir des capacités fondamentales d’entraînement de LLM, puis développer une IA adaptée à des environnements exigeants et à ressources contraintes.