Scansiona il tuo sito per addestrare l'agente AI
Aggiungi il tuo sito a un agente intoCHAT: pagine trovate, scelta per cartelle, percorsi esclusi, impostazioni di scansione (paese, modalità lenta, pagine con ?query), siti che bloccano i crawler, limiti di scansione e pagine sempre aggiornate.
Il modo più rapido per dare conoscenza al tuo agente è fargli leggere il tuo sito. Inserisci un indirizzo, intoCHAT elenca le pagine che trova e tu scegli quali aggiungere.
Stai creando un nuovo agente? Start from your website, nella finestra di creazione, legge la tua home page e fino a 4 pagine chiave e addestra l'agente per te. Vedi Avvio rapido.
Trovare e aggiungere pagine
- Apri la scheda Knowledge (conoscenza) dell'agente e scegli Website in Add knowledge.
- Inserisci il sito in Website URL, per esempio
https://example.com. - Facoltativo: in Exclude URLs containing indica parti di indirizzi da saltare, separate da virgole, per esempio
/blog, /careers, ?lang=. - Clicca su Find pages (trova pagine).
- Controlla l'elenco, che raggruppa le pagine per cartella. Usa Filter pages…, Select all (tutte) o None (nessuna), spunta una cartella per selezionarne tutte le pagine, oppure spunta le pagine una per una.
- Clicca su Add … selected pages e attendi che la barra di avanzamento finisca.
- Clicca su Train agent in alto nella scheda. L'addestramento continua sul server anche se lasci la pagina.
Le pagine aggiunte vengono salvate subito con lo stato Pending (in attesa). L'agente le usa solo dopo l'addestramento.
Come vengono trovate le pagine
Find pages combina due metodi:
- Sitemap: intoCHAT cerca una sitemap nelle posizioni comuni come
/sitemap.xmle/wp-sitemap.xml, e nella rigaSitemap:del filerobots.txt. Le pagine di login, registrazione e amministrazione vengono saltate. - Mappa dei link: un crawler raccoglie i link dello stesso dominio.
Ogni metodo restituisce fino a 500 indirizzi. Duplicati come /about e /about/, immagini, feed e altri file che non sono pagine vengono rimossi. I link a file PDF restano nell'elenco e vengono letti come pagine. I parametri di tracciamento come utm_source, gclid e fbclid vengono tolti dagli indirizzi, perché non cambiano mai il contenuto di una pagina. Come vengono trattati gli altri indirizzi con ?query dipende dalle impostazioni di scansione.
Su un sito multilingue con cartelle di lingua come /de/ e /fr/, sopra l'elenco compare una riga Languages (lingue). Sono preselezionate le pagine nella lingua dell'indirizzo inserito, più la home page; clicca su una lingua per selezionare o deselezionare tutte le sue pagine. Le pagine già presenti nella tua conoscenza mostrano already added e non sono selezionate.
Scegliere le pagine nell'albero delle cartelle
Le pagine trovate compaiono come cartelle, ricavate dai loro indirizzi, come /blog e /blog/2026. La pagina della cartella stessa, come /blog, si trova dentro la cartella. Quando le pagine arrivano da più di un host, per esempio da un sottodominio, ogni sito ha una cartella propria.
- Ogni cartella mostra quante pagine contiene, oppure per esempio "3 of 12" quando alcune sono selezionate.
- La casella di una cartella seleziona tutte le sue pagine. Su una cartella già selezionata per intero, le deseleziona. Quando sono selezionate solo alcune pagine, la casella mostra uno stato parzialmente selezionato.
- Le cartelle con più di 15 elementi all'inizio sono chiuse. Open all folders e Close all aprono o chiudono tutte le cartelle in una volta.
- Mentre scrivi in Filter pages…, tutte le cartelle si aprono, così ogni pagina corrispondente è visibile.
- Le pagine mostrano already added, added oppure failed, con il motivo quando ci passi sopra con il mouse. Le pagine aggiunte o in lettura non si possono selezionare.
Sotto l'elenco una riga conta la selezione, per esempio "12 of 340 pages selected. One crawl from your plan reads up to 600 pages · 8 crawls left this month." Le scansioni rimaste compaiono solo se il tuo piano ha un limite di scansioni. Con più di 600 pagine selezionate vedi "More than 600 pages are selected, so adding them may use a second crawl."
Una ricerca si ferma a circa 500 pagine. Quando l'elenco arriva a quella dimensione, intoCHAT avvisa che potrebbero mancare delle pagine. Aggiungile con Single page mode.
Cosa viene letto da ogni pagina
intoCHAT legge il contenuto principale di ogni pagina. Widget di chat e banner dei cookie vengono rimossi, e menu o banner ripetuti su ogni pagina vengono tenuti una sola volta.
Alcuni siti costruiscono i contenuti in JavaScript dopo il caricamento. Se più pagine tornano come lo stesso guscio vuoto, intoCHAT le rilegge lasciando loro qualche secondo per caricarsi, e fa lo stesso per il resto della scansione; questi siti richiedono quindi più tempo. Se il crawler è occupato, la scansione si ferma con un conto alla rovescia e poi riprende da sola.
Le pagine andate in timeout vengono riprovate una volta alla fine. Una pagina che fallisce ancora viene segnata come failed: passaci sopra con il mouse per vedere il motivo, poi selezionala e aggiungila di nuovo.
Impostazioni di scansione
Sotto l'indirizzo e le sue opzioni, apri Crawl settings per cambiare il modo in cui viene letto il sito di questo agente. Il pannello chiuso le riassume, per esempio "Automatic country · normal pace · ?query pages ignored". Ogni modifica viene salvata subito e vale per tutto ciò che legge il sito dell'agente: Find pages, l'aggiunta di pagine, Refresh from website e l'Auto-resync. I Viewer vedono le impostazioni ma non possono modificarle.
Paese di scansione
Scegli Automatic o un paese: Stati Uniti, Regno Unito, Germania, Francia, Italia, Spagna, Svizzera, Austria o Paesi Bassi. Le pagine vengono allora lette come le vedrebbe un visitatore di quel paese, il che aiuta sui siti che cambiano prezzi, lingua o contenuti in base alla posizione. Con Automatic intoCHAT legge le pagine da sé; per quelle lette dal nostro fornitore di scansione, il paese lo sceglie lui.
Con un paese scelto, ogni pagina viene letta dal nostro fornitore di scansione da quel paese: l'aggiunta di pagine, il loro aggiornamento e l'Auto-resync. Find pages legge la sitemap e i link della homepage direttamente da intoCHAT, quindi il paese non vale per loro.
Modalità lenta
Attiva Slow mode (modalità lenta) per i siti che bloccano o vanno in timeout quando vengono lette molte pagine insieme. intoCHAT legge allora 5 pagine per richiesta invece di 10, 2 alla volta, e fa una pausa di 4 secondi tra una richiesta e l'altra. Le scansioni durano di più, e una scansione del tuo piano copre circa 300 pagine invece di 600. L'Auto-resync legge meno pagine per giro e controlla le altre al giro successivo.
Pagine con una ?query
Alcuni siti distinguono le pagine solo per ciò che segue il ? nell'indirizzo, per esempio /product?id=12 e /product?id=13.
- Con Treat ?query pages as separate pages disattivato (l'impostazione predefinita), la mappa dei link tralascia gli indirizzi con una
?query. Gli indirizzi che la tua sitemap elenca con una query, come?page_id=12, restano nell'elenco così come sono scritti. - Se è attivo, la mappa dei link elenca anche gli indirizzi con
?query. I parametri di tracciamento vengono tolti e quelli rimanenti messi in un ordine fisso, così?size=m&color=rede?color=red&size=msono una sola pagina. Vengono elencate al massimo 100 pagine con?query, e al massimo 20 per lo stesso percorso, così le combinazioni di filtri di un negozio non possono riempire l'elenco. Quando alcune sono state tralasciate, l'elenco dice quante; aggiungile con Single page mode.
L'impostazione decide quali pagine vengono trovate. Le pagine già aggiunte mantengono il loro indirizzo e vengono rilette così come sono.
Single page mode
Attiva Single page mode (modalità pagina singola) per aggiungere un solo indirizzo senza esplorare il sito. Il pulsante diventa Add page. Usalo per una pagina che la ricerca non ha trovato. Per aggiornare una pagina già aggiunta, usa invece Refresh from website (aggiorna dal sito) sulla sua fonte.
Limiti di scansione
| Piano | Scansioni del sito al mese | Caratteri per agente |
|---|---|---|
| Free | 1 | 100K |
| Starter | 9 | 500K |
| Pro | 20 | 1M |
| Enterprise | personalizzato | personalizzato |
- La ricerca con Find pages non consuma scansioni.
- Aggiungere pagine consuma una scansione, che si tratti di una selezione o di una pagina singola. Le pagine vengono lette in blocchi da 10, e una scansione copre 60 blocchi, cioè circa 600 pagine. Sui siti che hanno bisogno di tempo per caricare il loro JavaScript, e in modalità lenta, un blocco contiene 5 pagine, quindi una scansione basta per circa 300. Un giro più lungo consuma un'altra scansione. Refresh from website su una fonte conta come l'aggiunta di una pagina singola.
- Aggiornare un gruppo di pagine dall'elenco delle fonti consuma una scansione allo stesso modo.
- L'Auto-resync consuma una scansione per ogni giro che legge pagine web, per un massimo di 30 pagine.
- Start from your website, quando crei un agente, consuma una scansione.
- Le scansioni si contano per account, su tutti gli agenti, e si azzerano ogni mese.
- Il testo scansionato rientra nel limite di caratteri dell'agente. Se un giro raggiunge il limite, le pagine rimanenti vengono segnate come non riuscite.
Quando non ne restano, intoCHAT mostra "Monthly crawl limit reached". Puoi comunque aggiungere file, testi e Q&A.
Siti che bloccano i crawler
Alcuni siti respingono i visitatori automatici con una protezione anti-bot o un firewall. In quel caso vedi "No pages found", oppure le pagine falliscono con uno di questi motivi:
- "The site refused the crawler (401)." oppure "(403)."
- "The site turned the crawler away for sending too many requests (429)."
- "The site showed a bot check (such as Cloudflare's) instead of the page."
- "No readable text on this page." oppure "No content returned for this page." Una pagina vuota può anche semplicemente non avere testo.
Quando le pagine falliscono in questo modo, dopo il giro compare sotto Crawl settings l'avviso "The site may be blocking our crawler". Un aggiornamento che fallisce in questo modo lo segnala e offre How to fix, e una fonte il cui ultimo controllo dell'Auto-resync è fallito in questo modo mostra sotto di sé "The site may be blocking our crawler: how to fix".
Far entrare il crawler
- Le pagine vengono lette da intoCHAT stesso, con lo user agent
intoCHAT-Crawler/1.0. Le pagine che hanno bisogno di un browser per mostrare il testo, quelle che rifiutano intoCHAT o gli mostrano un controllo anti-bot, e ogni pagina quando è scelto un paese vengono lette dal nostro fornitore di scansione. Il suo user agent e i suoi indirizzi IP non sono controllati né pubblicati da intoCHAT, quindi non esiste un elenco di IP da autorizzare. Se il tuo firewall può autorizzare uno user agent, autorizzaintoCHAT-Crawler/1.0; altrimenti chiedi a chi gestisce il sito di far passare queste pagine attraverso il controllo anti-bot, per esempio con una regola del firewall che salta la verifica per loro, poi aggiungi di nuovo le pagine. Se metti in pausa il controllo anti-bot solo durante la scansione, gli aggiornamenti successivi e i controlli dell'Auto-resync falliscono allo stesso modo. - La sitemap viene scaricata da intoCHAT stesso, con lo user agent
intoCHAT-Sitemap-Fetcher/1.0. Autorizzare anche questo permette a Find pages di leggere la tua sitemap. - Troppe richieste (429): attiva la modalità lenta e riprova.
Aggiungere il contenuto in un altro modo
- Incolla il testo della pagina nella scheda Text. Vedi Testo e Q&A.
- Salva la pagina come PDF dal browser e caricala nella scheda Files. Vedi File.
- Per una pagina che la ricerca non ha trovato, prova Single page mode.
Si possono scansionare solo indirizzi pubblici http e https. Le pagine dietro un login, gli indirizzi con nome utente e password e gli indirizzi di reti private o interne vengono rifiutati.
Tenere aggiornate le pagine
Re-index saved text (reindicizza il testo salvato) addestra soltanto di nuovo il testo letto in precedenza. Per recepire le modifiche del sito:
- Auto-resync: attivalo nel riquadro Auto-resync della scheda Knowledge. Ogni giorno o ogni settimana intoCHAT rilegge le tue pagine e riaddestra solo quelle il cui testo è cambiato. Il testo ripetuto su tutto il sito, come menu e piè di pagina, non conta come modifica. Vedi Auto-resync.
- Una pagina: clicca su Refresh from website (l'icona a nuvola) nella sua fonte. intoCHAT rilegge la pagina e, se il testo è cambiato, lo salva e la riaddestra subito; altrimenti vedi "No changes found".
- Un sito o una cartella: nell'elenco delle fonti scegli Group by site and folder e usa l'icona a nuvola del gruppo. Vedi Gestire le fonti.
- Molte pagine dopo una ricerca: aggiungile di nuovo con Find pages, poi addestra. Le fonti esistenti vengono aggiornate invece di essere duplicate.
Una pagina letta nell'ultima ora può provenire da una copia in cache.