Ricerca ibrida
Ultimo aggiornamento:
Che cos'è la ricerca ibrida
La ricerca per parole chiave, di solito basata su indici full-text e funzioni di ranking come BM25, è forte nelle corrispondenze esatte: codici prodotto, nomi, sigle e frasi tra virgolette. La ricerca semantica, basata sugli embedding, è forte nel significato: sinonimi, parafrasi e domande formulate in modo approssimativo. Ognuna ha punti ciechi che l'altra copre.
La ricerca ibrida esegue entrambi i metodi sulla stessa domanda e combina ciò che trovano. Il risultato è un unico elenco di passaggi che si posiziona bene sia per i termini esatti sia per l'intento.
Come funziona
La domanda viene inviata a due sistemi di recupero. Quello per parole chiave ordina i passaggi in base a quanto le loro parole corrispondono alla domanda. Quello vettoriale li ordina per somiglianza degli embedding. Le due classifiche vengono poi unite, di solito con uno di questi metodi:
- Reciprocal rank fusion (RRF): ogni passaggio riceve un punteggio in base alla sua posizione in ciascun elenco, così salgono quelli ben piazzati in entrambi.
- Combinazione pesata dei punteggi: i punteggi normalizzati dei due sistemi vengono sommati con pesi scelti.
- Re-ranking: un modello separato riordina i candidati uniti in base alla pertinenza con la domanda.
Un esempio
Il chatbot di un negozio di elettronica riceve la domanda «L'XR-220 funziona con i caricatori USB-C?». La ricerca per parole chiave trova la scheda prodotto perché contiene «XR-220». La ricerca vettoriale trova un articolo generale sulla compatibilità dei caricatori. Con la ricerca ibrida la scheda prodotto finisce in cima e l'articolo resta disponibile come contesto di supporto.
La sola ricerca semantica avrebbe potuto restituire la scheda di un modello simile. La sola ricerca per parole chiave avrebbe perso l'articolo, se non cita mai il numero di modello.
Perché conta per i chatbot aziendali
Le domande dei clienti mescolano due tipi di linguaggio: espressioni quotidiane e identificativi esatti. Se il recupero manca il passaggio giusto, anche un modello linguistico capace non può rispondere correttamente e rischia di colmare il vuoto con un'ipotesi. La ricerca ibrida riduce questi errori e rende più affidabili le risposte basate sulle fonti.
La rank fusion è una scelta comune nei chatbot perché i punteggi per parole chiave e quelli di somiglianza usano scale diverse e sono difficili da confrontare. Lavorare sulle posizioni invece che sui punteggi grezzi evita il problema e richiede poca calibrazione.
Come la usa intoCHAT
intoCHAT usa il recupero ibrido per ogni domanda. Esegue una ricerca vettoriale e una ricerca full-text per parole chiave sui tuoi contenuti di addestramento e unisce le due classifiche con la rank fusion. Le risposte delle coppie domanda e risposta che scrivi hanno la precedenza sulle altre fonti, e le fonti contrassegnate con la stella salgono in classifica. Non c'è nulla da configurare: migliori i risultati migliorando i contenuti.