Aller au contenu
Documentation

Explorer votre site pour entraîner votre agent IA

Ajoutez votre site à un agent intoCHAT : pages trouvées, sélection par dossier, exclusion de chemins, paramètres d'exploration (pays, mode lent, pages ?query), sites qui bloquent les robots, limites d'exploration et mises à jour.

Le moyen le plus rapide de donner des connaissances à votre agent est de lui faire lire votre site. Vous saisissez une adresse, intoCHAT liste les pages trouvées et vous choisissez celles à ajouter.

Vous créez un nouvel agent ? Start from your website, dans la fenêtre de création, lit votre page d'accueil et jusqu'à 4 pages clés, puis entraîne l'agent pour vous. Consultez Démarrage rapide.

Trouver et ajouter des pages

  1. Ouvrez l'onglet Knowledge (connaissances) de l'agent et choisissez Website sous Add knowledge.
  2. Saisissez votre site dans Website URL, par exemple https://example.com.
  3. Facultatif : dans Exclude URLs containing, indiquez des parties d'adresses à ignorer, séparées par des virgules, par exemple /blog, /careers, ?lang=.
  4. Cliquez sur Find pages (trouver les pages).
  5. Vérifiez la liste, qui regroupe les pages par dossier. Utilisez Filter pages…, Select all (tout) ou None (aucune), cochez un dossier pour sélectionner toutes ses pages, ou cochez les pages une à une.
  6. Cliquez sur Add … selected pages et attendez la fin de la barre de progression.
  7. Cliquez sur Train agent en haut de l'onglet. L'entraînement continue sur le serveur si vous quittez la page.

Les pages ajoutées sont enregistrées immédiatement avec le statut Pending (en attente). L'agent ne les utilise qu'après l'entraînement.

Comment les pages sont trouvées

Find pages combine deux méthodes :

  • Sitemap : intoCHAT cherche un sitemap aux emplacements courants comme /sitemap.xml et /wp-sitemap.xml, ainsi que dans la ligne Sitemap: du fichier robots.txt. Les pages de connexion, d'inscription et d'administration sont ignorées.
  • Carte des liens : un robot collecte les liens du même domaine.

Chaque méthode renvoie jusqu'à 500 adresses. Les doublons comme /about et /about/, les images, les flux et les autres fichiers qui ne sont pas des pages sont retirés. Les liens vers des PDF restent dans la liste et sont lus comme des pages. Les paramètres de suivi comme utm_source, gclid et fbclid sont retirés des adresses, car ils ne changent jamais le contenu d'une page. Le traitement des autres adresses avec ?query dépend des paramètres d'exploration.

Sur un site multilingue avec des dossiers de langue comme /de/ et /fr/, une ligne Languages (langues) apparaît au-dessus de la liste. Les pages dans la langue de l'adresse saisie sont présélectionnées, ainsi que la page d'accueil ; cliquez sur une langue pour sélectionner ou désélectionner toutes ses pages. Les pages déjà présentes dans vos connaissances affichent already added et ne sont pas sélectionnées.

Choisir les pages dans l'arborescence

Les pages trouvées s'affichent sous forme de dossiers, d'après leurs adresses, comme /blog et /blog/2026. La page d'un dossier lui-même, comme /blog, figure dans ce dossier. Quand les pages proviennent de plusieurs hôtes, par exemple d'un sous-domaine, chaque site a son propre dossier.

  • Chaque dossier indique combien de pages il contient, ou par exemple « 3 of 12 » quand certaines sont sélectionnées.
  • La case d'un dossier sélectionne toutes ses pages. Sur un dossier entièrement sélectionné, elle les désélectionne. Quand seules certaines pages sont sélectionnées, la case affiche un état partiellement coché.
  • Les dossiers de plus de 15 éléments sont d'abord repliés. Open all folders et Close all déplient ou replient tous les dossiers d'un coup.
  • Dès que vous tapez dans Filter pages…, tous les dossiers se déplient pour que chaque page correspondante soit visible.
  • Les pages affichent already added, added ou failed, avec la raison au survol. Les pages ajoutées ou en cours de lecture ne peuvent pas être sélectionnées.

Sous la liste, une ligne compte votre sélection, par exemple « 12 of 340 pages selected. One crawl from your plan reads up to 600 pages · 8 crawls left this month. » Les explorations restantes n'apparaissent que si votre offre a une limite d'explorations. Avec plus de 600 pages sélectionnées, vous voyez « More than 600 pages are selected, so adding them may use a second crawl. »

Une recherche s'arrête à environ 500 pages. Quand la liste atteint cette taille, intoCHAT signale que des pages peuvent manquer. Ajoutez-les avec Single page mode.

Ce qui est lu sur chaque page

intoCHAT lit le contenu principal de chaque page. Les widgets de chat et les bannières de cookies sont retirés, et les menus ou bannières répétés sur chaque page ne sont conservés qu'une fois.

Certains sites construisent leur contenu en JavaScript après le chargement. Si plusieurs pages reviennent sous la forme d'une même coquille vide, intoCHAT les relit en leur laissant quelques secondes pour se charger, puis fait de même pour le reste de l'exploration ; ces sites prennent donc plus de temps. Si le robot est occupé, l'exploration marque une pause avec un compte à rebours, puis reprend seule.

Les pages qui expirent sont réessayées une fois à la fin. Une page qui échoue encore est marquée failed : survolez-la pour voir pourquoi, puis sélectionnez-la et ajoutez-la de nouveau.

Paramètres d'exploration

Sous l'adresse et ses options, ouvrez Crawl settings (paramètres d'exploration) pour changer la façon dont le site de cet agent est lu. Le panneau fermé les résume, par exemple « Automatic country · normal pace · ?query pages ignored ». Chaque changement est enregistré aussitôt et s'applique à tout ce qui lit le site de l'agent : Find pages, l'ajout de pages, Refresh from website et l'Auto-resync. Les viewers voient les paramètres, mais ne peuvent pas les modifier.

Pays d'exploration

Choisissez Automatic ou un pays : États-Unis, Royaume-Uni, Allemagne, France, Italie, Espagne, Suisse, Autriche ou Pays-Bas. Les pages sont alors lues comme les verrait un visiteur de ce pays, ce qui aide sur les sites qui changent leurs prix, leur langue ou leur contenu selon la localisation. Avec Automatic, intoCHAT lit les pages lui-même, et notre prestataire d'exploration choisit pour les pages qu'il lit.

Lorsqu'un pays est choisi, chaque page est lue par notre prestataire d'exploration depuis ce pays : l'ajout de pages, leur actualisation et l'Auto-resync. Find pages lit le sitemap et les liens de la page d'accueil directement depuis intoCHAT : le pays ne s'y applique donc pas.

Mode lent

Activez Slow mode (mode lent) pour les sites qui bloquent ou expirent quand de nombreuses pages sont lues à la fois. intoCHAT lit alors 5 pages par requête au lieu de 10, 2 à la fois, et marque une pause de 4 secondes entre les requêtes. Les explorations prennent plus de temps, et une exploration de votre offre couvre environ 300 pages au lieu de 600. L'Auto-resync lit moins de pages par passage et vérifie les autres au passage suivant.

Pages avec ?query

Certains sites ne distinguent leurs pages que par ce qui suit le ? dans l'adresse, par exemple /product?id=12 et /product?id=13.

  • Avec Treat ?query pages as separate pages désactivé (le réglage par défaut), la carte des liens écarte les adresses avec une ?query. Les adresses que votre sitemap liste avec une query, comme ?page_id=12, restent dans la liste telles quelles.
  • Avec ce réglage activé, la carte des liens liste aussi les adresses avec ?query. Les paramètres de suivi sont retirés et les paramètres restants sont mis dans un ordre fixe : ?size=m&color=red et ?color=red&size=m sont donc une seule page. Au plus 100 pages avec ?query sont listées, et au plus 20 pour un même chemin, afin que les combinaisons de filtres d'une boutique ne puissent pas inonder la liste. Quand certaines ont été écartées, la liste indique combien ; ajoutez-les avec Single page mode.

Ce réglage décide des pages trouvées. Les pages déjà ajoutées gardent leur adresse et sont relues telles quelles.

Single page mode

Activez Single page mode (mode page unique) pour ajouter une seule adresse sans parcourir le site. Le bouton devient Add page. Utilisez-le pour une page que la découverte a manquée. Pour mettre à jour une page déjà ajoutée, utilisez plutôt Refresh from website (actualiser depuis le site) sur sa source.

Limites d'exploration

OffreExplorations de site par moisCaractères par agent
Free1100K
Starter9500K
Pro201M
Enterprisesur mesuresur mesure
  • La recherche avec Find pages ne consomme pas d'exploration.
  • Ajouter des pages consomme une exploration, qu'il s'agisse d'une sélection ou d'une page unique. Les pages sont lues par lots de 10, et une exploration couvre 60 lots, soit environ 600 pages. Sur les sites qui ont besoin de temps pour charger leur JavaScript, et en mode lent, un lot compte 5 pages, et une exploration couvre donc environ 300 pages. Un passage plus long consomme une autre exploration. Refresh from website sur une source compte comme l'ajout d'une page unique.
  • Actualiser un groupe de pages depuis la liste des sources consomme une exploration de la même façon.
  • L'Auto-resync consomme une exploration par passage qui lit des pages web, pour 30 pages au plus.
  • Start from your website, à la création d'un agent, consomme une exploration.
  • Les explorations sont comptées par compte, tous agents confondus, et remises à zéro chaque mois.
  • Le texte exploré est décompté de la limite de caractères de l'agent. Si un passage atteint cette limite, les pages restantes sont marquées en échec.

Quand il n'en reste plus, intoCHAT affiche « Monthly crawl limit reached ». Vous pouvez toujours ajouter des fichiers, du texte et des questions-réponses.

Sites qui bloquent les robots

Certains sites refusent les visiteurs automatisés grâce à une protection anti-robots ou un pare-feu. Vous voyez alors « No pages found », ou les pages échouent avec l'une de ces raisons :

  • « The site refused the crawler (401). » ou « (403). »
  • « The site turned the crawler away for sending too many requests (429). »
  • « The site showed a bot check (such as Cloudflare's) instead of the page. »
  • « No readable text on this page. » ou « No content returned for this page. » Une page vide peut aussi simplement ne contenir aucun texte.

Quand des pages échouent ainsi, une note « The site may be blocking our crawler » apparaît sous Crawl settings après le passage. Une actualisation qui échoue ainsi l'indique et propose How to fix, et une source dont la dernière vérification par l'Auto-resync a échoué ainsi affiche « The site may be blocking our crawler: how to fix » en dessous.

Laisser entrer le robot

  • Les pages sont lues par intoCHAT lui-même, avec le user agent intoCHAT-Crawler/1.0. Les pages qui ont besoin d'un navigateur pour afficher leur texte, celles qui refusent intoCHAT ou lui montrent une vérification anti-robots, et toutes les pages lorsqu'un pays est choisi sont lues par notre prestataire d'exploration. Son user agent et ses adresses IP ne sont ni contrôlés ni publiés par intoCHAT : il n'existe donc pas de liste d'adresses IP à autoriser. Si votre pare-feu peut autoriser un user agent, autorisez intoCHAT-Crawler/1.0 ; sinon, demandez à la personne qui gère le site de laisser passer ces pages à travers la vérification anti-robots, par exemple avec une règle de pare-feu qui leur évite le défi, puis ajoutez de nouveau les pages. Si vous suspendez la vérification anti-robots uniquement le temps de l'exploration, les actualisations et les vérifications de l'Auto-resync suivantes échoueront de la même façon.
  • Le sitemap est récupéré par intoCHAT lui-même, avec le user agent intoCHAT-Sitemap-Fetcher/1.0. Autoriser aussi celui-ci permet à Find pages de lire votre sitemap.
  • Trop de requêtes (429) : activez le mode lent et réessayez.

Ajouter le contenu autrement

  • Collez le texte de la page dans l'onglet Text. Voir Texte et Q&A.
  • Enregistrez la page en PDF depuis votre navigateur et importez-la dans l'onglet Files. Voir Fichiers.
  • Pour une page que la découverte a manquée, essayez Single page mode.

Seules les adresses publiques http et https peuvent être explorées. Les pages derrière une connexion, les adresses contenant un nom d'utilisateur et un mot de passe, et les adresses de réseau privé ou interne sont refusées.

Garder les pages à jour

Re-index saved text (réindexer le texte enregistré) ne fait que réentraîner le texte lu auparavant. Pour prendre en compte les modifications de votre site :

  • Auto-resync : activez-le dans la carte Auto-resync de l'onglet Knowledge. Chaque jour ou chaque semaine, intoCHAT relit vos pages et ne réentraîne que celles dont le texte a changé. Le texte répété sur tout le site, comme les menus et les pieds de page, ne compte pas comme un changement. Voir Auto-resync.
  • Une page : cliquez sur Refresh from website (l'icône en forme de nuage) sur sa source. intoCHAT relit cette page et, si son texte a changé, l'enregistre et la réentraîne aussitôt ; sinon, vous voyez « No changes found ».
  • Un site ou un dossier : dans la liste des sources, choisissez Group by site and folder et utilisez l'icône nuage du groupe. Voir Gérer les sources.
  • De nombreuses pages après une recherche : ajoutez-les de nouveau via Find pages, puis entraînez. Les sources existantes sont mises à jour au lieu d'être dupliquées.

Une page lue dans l'heure précédente peut provenir d'une copie en cache.

Voir en Markdown