Modello linguistico di grandi dimensioni (LLM)
Ultimo aggiornamento:
Che cos’è un modello linguistico di grandi dimensioni
Un modello linguistico stima quale parola, o più precisamente quale token, ha più probabilità di venire dopo in un testo. Un LLM lo fa con una rete neurale da miliardi di parametri, addestrata su grandi raccolte di testi pubblici, libri e codice. È questa scala a permettergli di riassumere, tradurre, rispondere a domande e seguire istruzioni senza essere programmato per ogni singolo compito.
Tra le famiglie di LLM più note ci sono i modelli GPT di OpenAI, Claude di Anthropic, Gemini di Google, Llama di Meta e i modelli di Mistral. Si differenziano per dimensioni, costo, velocità, lingue supportate e affidabilità nel seguire le istruzioni.
Come funziona un LLM
Creare e usare un LLM avviene, a grandi linee, in tre fasi:
Un LLM non ha alcun collegamento diretto a internet o ai tuoi sistemi, a meno che l’applicazione che lo usa non glielo fornisca. La sua conoscenza si ferma alla data di fine addestramento e tutto ciò che legge in una conversazione deve stare nella sua finestra di contesto.
- Pre-addestramento: il modello legge enormi quantità di testo e impara a prevedere il token successivo. Nel farlo assimila grammatica, fatti, stili e schemi di ragionamento.
- Instruction tuning e feedback: un ulteriore addestramento con esempi di risposte utili e valutazioni umane gli insegna a seguire le istruzioni e a rifiutare richieste dannose.
- Inferenza: quando invii un prompt, il testo viene diviso in token e il modello genera la risposta un token alla volta, ogni scelta basata su tutto ciò che precede.
Esempio
Se chiedi a un LLM generico «Che orari fa il Panificio Rossi in via Roma?», non può saperlo, perché quell’informazione non era nei dati di addestramento oppure è cambiata da allora. Potrebbe dirlo, oppure inventare una risposta plausibile. Se dai allo stesso modello la pagina aggiornata con gli orari come parte del prompt, risponde correttamente e nella lingua del visitatore.
Perché gli LLM contano per i chatbot aziendali
L’LLM è il motore di un chatbot AI, ma da solo non è una fonte affidabile di informazioni sulla tua azienda. Per questo i chatbot aziendali combinano l’LLM con una ricerca nei tuoi contenuti, istruzioni chiare e regole su cosa fare quando mancano informazioni. Il modello influisce su qualità delle risposte, velocità e costi, e i fornitori lo aggiornano spesso: chi gestisce il chatbot deve quindi testare e mantenere questa scelta.
Come intoCHAT usa gli LLM
intoCHAT fa funzionare ogni agente con un modello OpenAI scelto e gestito da intoCHAT. Non scegli il modello né ne regoli i parametri: orienti le risposte con i tuoi contenuti, le tue istruzioni e le coppie di domande e risposte. Per ogni messaggio, intoCHAT recupera gli estratti pertinenti dalle tue fonti e li passa al modello insieme a regole che mantengono le risposte ancorate a quel materiale.