Temperatura (temperature)
Ultimo aggiornamento:
Che cos’è la temperatura
Quando un modello linguistico scrive, calcola una probabilità per ogni possibile token successivo e poi ne sceglie uno. La temperatura modifica quelle probabilità prima della scelta. A temperatura bassa vince quasi sempre il token più probabile. A temperatura più alta le probabilità si appiattiscono e i token meno probabili vengono scelti più spesso.
Molte API accettano valori da 0 fino a 1 o 2, a seconda del fornitore. Un valore di 0 equivale quasi sempre a prendere la prima scelta, anche se nemmeno così le risposte sono sempre perfettamente identiche.
Come cambia le risposte
In pratica si possono distinguere tre fasce:
La temperatura non aggiunge conoscenze e non rende un modello più veritiero. Un valore basso fa ripetere al modello la sua risposta più probabile con più costanza, il che può significare ripetere lo stesso errore. Alcuni modelli di ragionamento più recenti non espongono affatto la temperatura e gestiscono il campionamento da soli. Un parametro affine, il top-p, limita invece la scelta ai token più probabili.
- Bassa: formulazioni più costanti, adatta a risposte fattuali, estrazione di dati e classificazione.
- Media: un po’ di varietà nel modo di esprimersi restando in tema, un’impostazione predefinita comune per la chat.
- Alta: risposte più varie e sorprendenti, utili per brainstorming o scrittura creativa, ma più inclini a divagare o sbagliare.
Esempio
Chiedi cinque volte a un modello di scrivere uno slogan per un panificio. A temperatura bassa ottieni quasi sempre la stessa frase. A temperatura alta ottieni cinque idee molto diverse, alcune utili e altre strane. Se chiedi allo stesso modello gli orari del panificio, vuoi il comportamento a temperatura bassa: una risposta costante basata sulla pagina degli orari.
Perché conta per i chatbot aziendali
I chatbot che parlano con i clienti funzionano di solito meglio con temperature da basse a moderate, perché quando le domande riguardano prezzi, condizioni o prodotti la costanza conta più della creatività. La temperatura resta comunque una regolazione di dettaglio, non una soluzione. Contenuti mancanti o superati, istruzioni vaghe e un recupero debole sono cause di risposte sbagliate più frequenti di una temperatura scelta male.
La temperatura e intoCHAT
intoCHAT non permette ai clienti di impostare la temperatura né di scegliere il modello. Ogni agente funziona con un modello OpenAI scelto e gestito da intoCHAT, impostazioni comprese. Per cambiare il modo in cui risponde il tuo agente intervieni su ciò che sa e su come deve comportarsi: le tue fonti, le tue istruzioni, coppie di domande e risposte per ciò che deve essere esatto, il messaggio di benvenuto e le domande suggerite.