Traitement du langage naturel (NLP)
Dernière mise à jour:
Ce qu'est le NLP
Le NLP se situe entre la linguistique et l'apprentissage automatique. Il couvre toutes les tâches où un logiciel doit traiter du langage courant plutôt que des données structurées : traduire, résumer des documents, filtrer le spam, transcrire la parole ou répondre à des questions dans un chat.
La difficulté tient à l'ambiguïté du langage. Un même mot peut avoir plusieurs sens, les gens font des fautes de frappe et le sens dépend souvent du contexte.
Comment fonctionne le NLP
Les anciens systèmes de NLP reposaient sur des règles écrites à la main et sur des modèles statistiques, chacun entraîné pour une tâche précise. Aujourd'hui, la plupart du NLP s'appuie sur de grands modèles de langage entraînés sur d'immenses volumes de texte. Les briques courantes sont :
- La tokenisation : découper le texte en petites unités que le modèle peut traiter.
- Les embeddings : transformer mots et passages en nombres qui représentent leur sens, pour que les idées proches se retrouvent proches.
- La classification : attribuer une étiquette, comme une langue, un sujet ou une intention.
- La génération : produire un nouveau texte, par exemple une réponse ou un résumé.
Exemple
Un client écrit « mon colis est tjr pas arrivé, commandé mardi dernier ». Grâce au NLP, le système gère l'abréviation, comprend qu'il s'agit d'une livraison en retard, interprète « mardi dernier » comme une date et répond dans la même langue. Une simple recherche par mots-clés pourrait passer à côté, puisque le mot « livraison » n'apparaît pas.
Pourquoi c'est important pour les chatbots d'entreprise
Sans NLP, un chatbot ne réagit qu'à des mots-clés exacts ou à des clics. Avec le NLP moderne, les visiteurs posent leurs questions avec leurs propres mots et dans leur langue, et obtiennent quand même une réponse pertinente. Le NLP intervient aussi dans l'étape de recherche de nombreux chatbots IA : la recherche sémantique utilise les embeddings pour trouver les passages qui correspondent au sens d'une question, pas seulement à ses mots.
Le NLP dans intoCHAT
intoCHAT utilise un modèle de langage d'OpenAI, choisi et géré par intoCHAT, pour comprendre les visiteurs et rédiger les réponses. Le modèle détecte la langue du visiteur et répond dans cette langue. Pour trouver la bonne information, intoCHAT combine recherche sémantique et recherche par mots-clés dans vos contenus, ce qui aide aussi bien pour les questions reformulées que pour les termes exacts comme les noms de produits.