Recherche sémantique
Dernière mise à jour:
Qu'est-ce que la recherche sémantique
La recherche par mots-clés classique renvoie les documents qui contiennent les termes saisis. La recherche sémantique cherche les documents qui répondent à ce que vous vouliez dire, même s'ils emploient d'autres mots. Une requête « vols pas chers pour Rome » peut ainsi trouver une page sur des « billets à petit prix vers la capitale italienne ».
L'idée est antérieure aux modèles de langage actuels, mais ce sont les embeddings qui l'ont rendue praticable au quotidien : recherche sur un site, recommandations et chatbots IA.
Comment ça fonctionne
La plupart des systèmes de recherche sémantique suivent les mêmes étapes :
- Le contenu est découpé en passages, puis un modèle convertit chaque passage en embedding.
- La requête est convertie en embedding avec le même modèle.
- Le système mesure la distance entre le vecteur de la requête et les vecteurs stockés, souvent avec la similarité cosinus.
- Les passages les plus proches sont renvoyés, classés par similarité.
Un exemple
Le centre d'aide d'un éditeur de logiciels contient un article intitulé « Réinitialiser vos identifiants de connexion ». Un client écrit : « J'ai oublié mon mot de passe et je n'arrive plus à entrer ». Une recherche par mots-clés risque de classer l'article loin, car peu de mots se recoupent. La recherche sémantique comprend que les deux textes décrivent le même problème et place l'article en tête.
L'inverse arrive aussi. Pour le code d'erreur « E-4012 », ce sont les caractères exacts qui comptent, pas le sens, et la recherche sémantique peut renvoyer des articles sur d'autres codes qui paraissent proches au modèle. Comme la similarité est une question de degré, elle renvoie en outre toujours ses meilleurs candidats, même quand rien n'est vraiment pertinent. Les bons systèmes ajoutent donc des contrôles avant d'utiliser les résultats.
Pourquoi c'est important pour les chatbots d'entreprise
Les visiteurs utilisent rarement le même vocabulaire que votre documentation. Ils écrivent des questions courtes et familières, font des fautes de frappe ou décrivent un symptôme au lieu de nommer une fonction. La recherche sémantique permet au chatbot de trouver malgré tout le bon passage. C'est la base de réponses fondées sur vos propres contenus plutôt que sur les connaissances générales du modèle.
Son point faible, ce sont les termes exacts : références, numéros de pièce, noms et sigles. C'est pourquoi les chatbots en production associent généralement recherche sémantique et recherche par mots-clés, une approche appelée recherche hybride.
Comment intoCHAT l'utilise
intoCHAT crée un embedding pour chaque segment de vos contenus d'entraînement et lance une recherche sémantique pour chaque question d'un visiteur. Il combine ces résultats avec une recherche par mots-clés, afin que l'agent trouve les passages à la fois par le sens et par les termes exacts. Vos paires question-réponse sont prioritaires et les sources marquées d'une étoile remontent dans le classement, sans réentraînement.