Présentation de Search Toolkit

Aujourd’hui, nous publions Search Toolkit en preview publique. Search Toolkit est un framework composable pour créer des pipelines de recherche en production pour les applications d’IA. Nous l’avons conçu parce que les équipes qui développent une infrastructure de recherche consacrent encore trop de temps d’ingénierie aux intégrations de base. La plupart assemblent des outils séparés pour l’ingestion, le retrieval et l’évaluation, chacun avec sa propre interface et ses propres hypothèses sur les données. Search Toolkit réunit les trois dans un même framework avec une interface commune. Les équipes peuvent ainsi consacrer leur temps à améliorer la qualité de recherche plutôt qu’à maintenir des intégrations. Search Toolkit est open source et s’exécute là où s’exécute votre infrastructure : cloud, on-premises ou edge.

L’infrastructure de recherche reste plus complexe qu’elle ne devrait l’être.

La plupart des équipes qui développent des systèmes de retrieval passent plus de temps à assembler l’infrastructure qu’à améliorer la qualité de recherche. L’ingestion nécessite un ensemble d’outils. Le retrieval en nécessite un autre. L’évaluation, quand elle existe, est ajoutée avec un framework séparé et des hypothèses distinctes sur la structure des données.

Les équipes indiquent souvent qu’il leur faut plusieurs semaines d’intégration avant de pouvoir exécuter une seule requête sur leurs propres données. Mesurer si le retriever renvoie les bons résultats nécessite souvent une chaîne d’outils supplémentaire. Pour les organisations qui développent des workflows RAG ou des systèmes de connaissance internes, cette charge se multiplie à chaque couche.

Où il s’intègre.

Recherche d’entreprise. La plupart des organisations n’ont pas un problème de recherche. Elles en ont une dizaine. Wikis internes, systèmes de tickets de support, dépôts de documents, stockage de fichiers, bases de code. Chaque source a une structure différente, des métadonnées différentes et nécessite un traitement différent pour être bien indexée. Les équipes finissent généralement par créer un pipeline d’ingestion séparé pour chacune, avec sa propre logique de parsing, sa propre stratégie de fragmentation et ses propres hypothèses sur ce à quoi ressemble un « document ». Le résultat est un ensemble d’index isolés qui ne peuvent pas être recherchés ensemble, ou une couche personnalisée fragile qui tente de les unifier et devient elle-même une charge de maintenance. Search Toolkit fournit des modèles de traitement et d’indexation cohérents entre les types de sources au sein d’un même framework. Les équipes peuvent donc ajouter de nouvelles sources sans reconstruire le pipeline à chaque fois.

RAG et qualité du retrieval. Quand un système RAG renvoie de mauvais résultats, la première question est de savoir si le problème vient du retrieval ou de la génération. En pratique, la plupart des équipes n’ont pas de moyen simple d’y répondre. Elles ajustent les prompts, modifient les stratégies de fragmentation et changent de modèles sans savoir si le retriever fait remonter le bon contexte dès le départ. Même les équipes qui se concentrent sur le retrieval manquent souvent d’outils pour comparer rigoureusement les stratégies, sur leurs propres données, avec leurs propres jugements de pertinence. L’autre option consiste à écrire des scripts d’évaluation personnalisés pour chaque expérience. Search Toolkit inclut une évaluation intégrée qui mesure les performances du retriever indépendamment. Vous pouvez ainsi isoler la qualité du retrieval de la qualité de génération et comparer les configurations à mesure que votre corpus évolue.

Retrieval par domaine. Dossiers juridiques, dossiers médicaux, bases de code, documents financiers réglementaires. Les retrievers prêts à l’emploi sont entraînés sur du texte généraliste et ont tendance à être moins efficaces avec une terminologie spécialisée, des structures de documents spécifiques et des critères de pertinence différents de ceux de la recherche web. Les équipes qui ont besoin d’un retrieval adapté à leur domaine finissent souvent par créer une infrastructure de retrieval personnalisée depuis zéro, coûteuse à maintenir et difficile à évaluer. 

La recherche dans un monde agentique

Les agents qui travaillent sur des tâches d’entreprise ont besoin d’accéder au contexte d’entreprise. Ils prennent des décisions de retrieval de manière autonome et à fort volume. La qualité de l’infrastructure de recherche sous-jacente affecte donc directement chaque étape en aval. Pour rechercher dans de grands corpus de documents, les agents effectuent une recherche sémantique dans un index, ce qui leur fournit des résultats précis avec une faible latence.

Les agents ont aussi besoin de données en direct. Avec Connecteurs, ils récupèrent directement les données depuis des systèmes sources comme les CRM, les dépôts de code et les outils de productivité via des intégrations MCP. Un agent peut interroger un corpus indexé lorsqu’il doit rechercher dans un grand volume de contenu, et récupérer des données en direct depuis un système source lorsqu’il a besoin de l’état le plus récent. Search Toolkit donne à vos agents un accès de recherche indexée de haute qualité, à utiliser en complément de la récupération de données en direct.

Ce qu’il contient.

Ingestion. Indexez et traitez des données issues de plusieurs sources avec des pipelines configurables. Search Toolkit gère le parsing des documents, la fragmentation et la génération d’embeddings. Les formats de documents personnalisés et les étapes de prétraitement s’intègrent via une interface d’adaptateur standard.

Retrieval. Search Toolkit inclut le retrieval sparse BM25, le retrieval dense basé sur les embeddings et des configurations hybrides qui combinent les deux. Chaque approche est configurable selon vos données et votre cas d’usage.

Évaluation. Mesurez la qualité de recherche avec des métriques intégrées : recall, précision, MRR et NDCG. Exécutez des évaluations sur vos propres jeux de test, comparez les configurations de retriever côte à côte et suivez la qualité au fil des versions.

Tous les modules partagent une interface de configuration commune. Remplacez votre indexeur, changez de retriever, ajoutez un évaluateur. Le reste du pipeline s’adapte.

Search Toolkit a été conçu pour des cas d’usage avancés en entreprise et éprouvé dans les services financiers, l’industrie, le secteur public, les médias et le divertissement. CMA CGM utilise Search Toolkit avec Voxtral pour aider les journalistes à détecter les fausses informations. Le pipeline traite l’audio provenant de trois sources de données distinctes et renvoie des alertes en moins de 15 secondes de bout en bout.

Regarder la démo

Démarrer.

Le moyen le plus rapide d’essayer Search Toolkit est d’utiliser notre template d’application de démarrage.

Prérequis

Installez Docker. Vous avez aussi besoin de uv dans le Projet généré.

Initialisez un nouveau Projet

uvx copier copy gh:mistralai/search-starter-app my-search-project
cd my-search-project

Lancer l’application

# Start Vespa locally with Docker
make setup-vespa
# Index sample data
make ingest path=sample_data/hello.txt
# Run a query
make search query="hello world"

Le template inclut :

• Indexation Vespa préconfigurée

• Retrieval hybride (BM25 + vectoriel)

• Données d’exemple et pipeline d’ingestion

Pour plus de détails, consultez le README de l’application de démarrage.

Et après

Une fois que vous avez essayé l’application de démarrage, allez plus loin :

• Ajuster votre pipeline d’ingestion – Configurez les parsers, les stratégies de fragmentation, les modèles d’embeddings et les extracteurs pour des types de fichiers spécifiques afin de gérer vos sources de données.

• Gérer le schéma Vespa et la pertinence – Optimisez l’indexation et les profils de ranking pour votre cas d’usage.

• Concevoir votre retrieval idéal – Utilisez des fonctionnalités avancées comme la réécriture de requêtes par LLM, le reranking et le retrieval hybride.

Pour la référence complète, consultez la documentation Search Toolkit.