Vai al contenuto

Temperatura (temperature)

Ultimo aggiornamento:

Che cos’è la temperatura

Quando un modello linguistico scrive, calcola una probabilità per ogni possibile token successivo e poi ne sceglie uno. La temperatura modifica quelle probabilità prima della scelta. A temperatura bassa vince quasi sempre il token più probabile. A temperatura più alta le probabilità si appiattiscono e i token meno probabili vengono scelti più spesso.

Molte API accettano valori da 0 fino a 1 o 2, a seconda del fornitore. Un valore di 0 equivale quasi sempre a prendere la prima scelta, anche se nemmeno così le risposte sono sempre perfettamente identiche.

Come cambia le risposte

In pratica si possono distinguere tre fasce:

La temperatura non aggiunge conoscenze e non rende un modello più veritiero. Un valore basso fa ripetere al modello la sua risposta più probabile con più costanza, il che può significare ripetere lo stesso errore. Alcuni modelli di ragionamento più recenti non espongono affatto la temperatura e gestiscono il campionamento da soli. Un parametro affine, il top-p, limita invece la scelta ai token più probabili.

  • Bassa: formulazioni più costanti, adatta a risposte fattuali, estrazione di dati e classificazione.
  • Media: un po’ di varietà nel modo di esprimersi restando in tema, un’impostazione predefinita comune per la chat.
  • Alta: risposte più varie e sorprendenti, utili per brainstorming o scrittura creativa, ma più inclini a divagare o sbagliare.

Esempio

Chiedi cinque volte a un modello di scrivere uno slogan per un panificio. A temperatura bassa ottieni quasi sempre la stessa frase. A temperatura alta ottieni cinque idee molto diverse, alcune utili e altre strane. Se chiedi allo stesso modello gli orari del panificio, vuoi il comportamento a temperatura bassa: una risposta costante basata sulla pagina degli orari.

Perché conta per i chatbot aziendali

I chatbot che parlano con i clienti funzionano di solito meglio con temperature da basse a moderate, perché quando le domande riguardano prezzi, condizioni o prodotti la costanza conta più della creatività. La temperatura resta comunque una regolazione di dettaglio, non una soluzione. Contenuti mancanti o superati, istruzioni vaghe e un recupero debole sono cause di risposte sbagliate più frequenti di una temperatura scelta male.

La temperatura e intoCHAT

intoCHAT non permette ai clienti di impostare la temperatura né di scegliere il modello. Ogni agente funziona con un modello OpenAI scelto e gestito da intoCHAT, impostazioni comprese. Per cambiare il modo in cui risponde il tuo agente intervieni su ciò che sa e su come deve comportarsi: le tue fonti, le tue istruzioni, coppie di domande e risposte per ciò che deve essere esatto, il messaggio di benvenuto e le domande suggerite.

Domande frequenti

Qual è una buona temperatura per un chatbot di assistenza clienti?

Valori bassi o moderati sono una scelta comune, perché risposte costanti e fattuali contano più della varietà. Il valore migliore dipende dal modello e dal compito, quindi fai test con domande reali. Contenuti validi, istruzioni chiare e un buon recupero contano più della temperatura.

Una temperatura di 0 elimina le allucinazioni?

No. Con temperatura 0 il modello sceglie la continuazione più probabile, ma anche quella può essere sbagliata. Le allucinazioni si riducono ancorando le risposte a fonti affidabili e chiedendo al modello di dire quando non sa.

Che differenza c’è tra temperatura e top-p?

Entrambi controllano la casualità nella scelta del token successivo. La temperatura rimodella l’intera distribuzione di probabilità, mentre il top-p limita la scelta al gruppo più piccolo di token la cui probabilità complessiva raggiunge una soglia. I fornitori di solito consigliano di regolare l’uno o l’altro, non entrambi.

Posso cambiare la temperatura in intoCHAT?

No. intoCHAT gestisce il modello e le sue impostazioni per ogni agente, quindi non c’è un controllo della temperatura. Orienti le risposte con i tuoi contenuti, le istruzioni e le coppie di domande e risposte.

Guardalo rispondere dal tuo sito

Incolla l’indirizzo del tuo sito e chatta con un agente creato dalle tue pagine. Ci vuole circa un minuto.

Crea il tuo agente gratis

Piano gratuito, nessuna carta di credito.