Allucinazione AI
Ultimo aggiornamento:
Che cos’è un’allucinazione dell’AI
Il termine indica un output non supportato né dai dati forniti al modello né dalla realtà: una data sbagliata, una funzione che non esiste, una citazione mai detta, un link che non porta da nessuna parte. A rendere rischiose le allucinazioni è il tono. Il modello scrive una risposta sbagliata con la stessa sicurezza e scorrevolezza di una corretta.
Perché i modelli linguistici hanno allucinazioni
Di solito agiscono più cause insieme:
- Previsione del token successivo: un modello è addestrato a produrre testo plausibile, non a verificare i fatti. Quando mancano informazioni, spesso ne esce un’ipotesi verosimile.
- Lacune nei dati di addestramento: il modello potrebbe non conoscere affatto la tua attività o aver imparato informazioni superate.
- Recupero mancato: in un chatbot, se la ricerca non trova il passaggio giusto, il modello può colmare il vuoto con conoscenze generiche.
- Domande tendenziose: una domanda che dà per scontato qualcosa di falso, come uno sconto inesistente, può trascinare il modello.
Esempio
Un visitatore chiede al chatbot di un hotel: «La colazione è inclusa nel pacchetto weekend?». La base di conoscenza descrive il pacchetto ma non parla di colazione. Un chatbot configurato male risponde «Sì, è incluso il buffet della colazione», perché molti pacchetti weekend la includono. Un chatbot con grounding risponde che la descrizione del pacchetto non menziona la colazione e suggerisce di chiedere direttamente all’hotel.
Perché le allucinazioni contano per i chatbot aziendali
Sul sito di un’azienda, un prezzo, un termine di reso o un orario inventati non sono una svista innocua. I clienti ci fanno affidamento. In un caso del 2024, un tribunale canadese ha ritenuto Air Canada responsabile delle informazioni tariffarie errate fornite a un cliente dal chatbot del suo sito. Le allucinazioni non si possono eliminare del tutto, ma si possono ridurre:
- Rispondere dai contenuti aziendali recuperati invece che dalla memoria del modello.
- Istruire il modello a dire quando le fonti non contengono la risposta.
- Tenere aggiornate le fonti e rimuovere pagine contraddittorie o superate.
- Aggiungere coppie di domande e risposte per i casi in cui conta la formulazione esatta.
- Fare test con domande a cui i contenuti non rispondono e rivedere le conversazioni dopo il lancio.
Come intoCHAT riduce le allucinazioni
Per ogni messaggio, intoCHAT recupera con la ricerca ibrida gli estratti pertinenti dei tuoi contenuti e li passa al modello insieme a regole integrate. I fatti aziendali come prezzi, condizioni e contatti devono provenire dalla tua configurazione, dalle tue fonti o dal risultato riuscito di un’azione. Quando le prove mancano o sono in conflitto, l’agente dice cosa non può confermare invece di tirare a indovinare. Le risposte Q&A hanno la precedenza sulle altre fonti, puoi testare l’agente nel playground e leggere ogni conversazione nei log delle chat.