Saltar al contenido
Documentación

Rastrea tu web para entrenar a tu agente de IA

Añade tu web a un agente de intoCHAT: páginas encontradas, selección por carpetas, rutas excluidas, ajustes de rastreo (país, modo lento, páginas con ?query), webs que bloquean rastreadores, límites de rastreo y páginas al día.

La forma más rápida de dar conocimiento a tu agente es que lea tu web. Introduces una dirección, intoCHAT muestra las páginas que encuentra y tú eliges cuáles añadir.

¿Vas a crear un agente nuevo? Start from your website, en el cuadro de diálogo de creación, lee tu página de inicio y hasta 4 páginas clave y entrena el agente por ti. Consulta Inicio rápido.

Encontrar y añadir páginas

  1. Abre la pestaña Knowledge (conocimiento) del agente y elige Website en Add knowledge.
  2. Introduce tu web en Website URL, por ejemplo https://example.com.
  3. Opcional: en Exclude URLs containing, indica partes de direcciones que quieres omitir, separadas por comas, por ejemplo /blog, /careers, ?lang=.
  4. Haz clic en Find pages (buscar páginas).
  5. Revisa la lista, que agrupa las páginas por carpeta. Usa Filter pages…, Select all (todas) o None (ninguna), marca una carpeta para seleccionar todas sus páginas o marca las páginas una a una.
  6. Haz clic en Add … selected pages y espera a que termine la barra de progreso.
  7. Haz clic en Train agent en la parte superior de la pestaña. El entrenamiento sigue en el servidor aunque salgas de la página.

Las páginas añadidas se guardan al instante con el estado Pending (pendiente). El agente solo las usa después del entrenamiento.

Cómo se encuentran las páginas

Find pages combina dos métodos:

  • Sitemap: intoCHAT busca un sitemap en las ubicaciones habituales, como /sitemap.xml y /wp-sitemap.xml, y en la línea Sitemap: del archivo robots.txt. Se omiten las páginas de inicio de sesión, registro y administración.
  • Mapa de enlaces: un rastreador recoge los enlaces del mismo dominio.

Cada método devuelve hasta 500 direcciones. Se eliminan los duplicados como /about y /about/, las imágenes, los feeds y otros archivos que no son páginas. Los enlaces a archivos PDF se quedan en la lista y se leen como páginas. Los parámetros de seguimiento como utm_source, gclid y fbclid se eliminan de las direcciones, porque nunca cambian lo que dice una página. Cómo se tratan las demás direcciones con ?query depende de los ajustes de rastreo.

En una web multilingüe con carpetas de idioma como /de/ y /fr/, aparece una fila Languages (idiomas) encima de la lista. Vienen preseleccionadas las páginas en el idioma de la dirección introducida y la página de inicio; haz clic en un idioma para seleccionar o deseleccionar todas sus páginas. Las páginas que ya están en tu conocimiento muestran already added y no se seleccionan.

Elegir páginas en el árbol de carpetas

Las páginas encontradas aparecen como carpetas, según sus direcciones, como /blog y /blog/2026. La página de la propia carpeta, como /blog, aparece dentro de ella. Cuando las páginas vienen de más de un host, por ejemplo de un subdominio, cada sitio tiene su propia carpeta.

  • Cada carpeta muestra cuántas páginas contiene o, por ejemplo, «3 of 12» cuando algunas están seleccionadas.
  • La casilla de una carpeta selecciona todas sus páginas. En una carpeta seleccionada por completo, las deselecciona. Cuando solo hay algunas páginas seleccionadas, la casilla muestra un estado parcialmente marcado.
  • Las carpetas con más de 15 elementos empiezan cerradas. Open all folders y Close all abren o cierran todas las carpetas a la vez.
  • Mientras escribes en Filter pages…, todas las carpetas se abren para que se vea cada página que coincide.
  • Las páginas muestran already added, added o failed, con el motivo al pasar el ratón por encima. Las páginas añadidas o que se están leyendo no se pueden seleccionar.

Debajo de la lista, una línea cuenta tu selección, por ejemplo «12 of 340 pages selected. One crawl from your plan reads up to 600 pages · 8 crawls left this month.» Los rastreos restantes solo aparecen si tu plan tiene un límite de rastreos. Con más de 600 páginas seleccionadas ves «More than 600 pages are selected, so adding them may use a second crawl.»

Una búsqueda se detiene en unas 500 páginas. Cuando la lista llega a ese tamaño, intoCHAT avisa de que pueden faltar páginas. Añádelas con Single page mode.

Qué se lee de cada página

intoCHAT lee el contenido principal de cada página. Se eliminan los widgets de chat y los banners de cookies, y los menús o banners que se repiten en todas las páginas se conservan una sola vez.

Algunas webs construyen su contenido con JavaScript después de cargar. Si varias páginas vuelven como la misma carcasa vacía, intoCHAT las lee de nuevo dándoles unos segundos para cargar, y hace lo mismo con el resto del rastreo; por eso estas webs tardan más. Si el rastreador está ocupado, el rastreo se pausa con una cuenta atrás y luego continúa solo.

Las páginas que agotan el tiempo se reintentan una vez al final. Una página que sigue fallando se marca como failed: pasa el ratón por encima para ver el motivo y después selecciónala y añádela de nuevo.

Ajustes de rastreo

Debajo de la dirección y sus opciones, abre Crawl settings para cambiar cómo se lee la web de este agente. El panel cerrado los resume, por ejemplo «Automatic country · normal pace · ?query pages ignored». Cada cambio se guarda al momento y se aplica a todo lo que lee la web del agente: Find pages, añadir páginas, Refresh from website y el Auto-resync. Los viewers pueden ver los ajustes, pero no cambiarlos.

País de rastreo

Elige Automatic o un país: Estados Unidos, Reino Unido, Alemania, Francia, Italia, España, Suiza, Austria o Países Bajos. Las páginas se leen entonces como las vería un visitante de ese país, lo que ayuda en las webs que cambian precios, idioma o contenido según la ubicación. Con Automatic, intoCHAT lee las páginas por sí mismo; para las que lee nuestro proveedor de rastreo, el país lo elige él.

Con un país elegido, nuestro proveedor de rastreo lee cada página desde ese país: al añadir páginas, al actualizarlas y en el Auto-resync. Find pages lee el sitemap y los enlaces de la página de inicio directamente desde intoCHAT, así que el país no se les aplica.

Slow mode

Activa Slow mode (modo lento) en las webs que bloquean o agotan el tiempo cuando se leen muchas páginas a la vez. intoCHAT lee entonces 5 páginas por petición en lugar de 10, 2 de ellas a la vez, y hace una pausa de 4 segundos entre peticiones. Los rastreos tardan más, y un rastreo de tu plan cubre unas 300 páginas en lugar de 600. El Auto-resync lee menos páginas por pasada y revisa el resto en la siguiente.

Páginas con ?query

Algunas webs distinguen sus páginas solo por lo que va tras el ? en la dirección, por ejemplo /product?id=12 y /product?id=13.

  • Con Treat ?query pages as separate pages desactivado (la opción predeterminada), el mapa de enlaces omite las direcciones con ?query. Las direcciones con consulta que lista tu sitemap, como ?page_id=12, se quedan en la lista tal como están escritas.
  • Con la opción activada, el mapa de enlaces también lista las direcciones con ?query. Se eliminan los parámetros de seguimiento y los demás se ponen en un orden fijo, así que ?size=m&color=red y ?color=red&size=m son una misma página. Se listan como máximo 100 páginas con ?query, y como máximo 20 de una misma ruta, para que las combinaciones de filtros de una tienda no inunden la lista. Cuando se omitieron algunas, la lista indica cuántas; añádelas con Single page mode.

El ajuste decide qué páginas se encuentran. Las páginas que ya añadiste conservan su dirección y se vuelven a leer tal cual.

Single page mode

Activa Single page mode (modo de página única) para añadir una sola dirección sin recorrer la web. El botón cambia a Add page. Úsalo para una página que la búsqueda no encontró. Para actualizar una página que ya añadiste, usa mejor Refresh from website (actualizar desde la web) en su fuente.

Límites de rastreo

PlanRastreos de la web al mesCaracteres por agente
Free1100K
Starter9500K
Pro201M
Enterprisea medidaa medida
  • La búsqueda con Find pages no consume rastreos.
  • Añadir páginas consume un rastreo, tanto si es una selección como una página única. Las páginas se leen en lotes de 10, y un rastreo cubre 60 lotes, es decir, unas 600 páginas. En las webs que necesitan tiempo para cargar su JavaScript, y en el modo lento, cada lote tiene 5 páginas, así que un rastreo da para unas 300. Una tanda más larga consume otro rastreo. Refresh from website en una fuente cuenta igual que añadir una sola página.
  • Actualizar un grupo de páginas desde la lista de fuentes consume un rastreo de la misma forma.
  • El Auto-resync consume un rastreo por cada pasada que lee páginas web, para 30 páginas como máximo.
  • Start from your website, al crear un agente, consume un rastreo.
  • Los rastreos se cuentan por cuenta, para todos tus agentes, y se reinician cada mes.
  • El texto rastreado cuenta para el límite de caracteres del agente. Si una tanda alcanza el límite, las páginas restantes se marcan como fallidas.

Cuando no te quedan, intoCHAT muestra «Monthly crawl limit reached». Puedes seguir añadiendo archivos, textos y preguntas.

Webs que bloquean rastreadores

Algunas webs rechazan a los visitantes automáticos con una protección contra bots o un cortafuegos. Entonces ves «No pages found», o las páginas fallan con uno de estos motivos:

  • «The site refused the crawler (401).» o «(403).»
  • «The site turned the crawler away for sending too many requests (429).»
  • «The site showed a bot check (such as Cloudflare's) instead of the page.»
  • «No readable text on this page.» o «No content returned for this page.» Una página vacía también puede simplemente no tener texto.

Cuando las páginas fallan así, después de la tanda aparece el aviso «The site may be blocking our crawler» debajo de Crawl settings. Una actualización que falla así lo indica y ofrece How to fix, y una fuente cuya última revisión del Auto-resync falló así muestra debajo «The site may be blocking our crawler: how to fix».

Dejar entrar al rastreador

  • Las páginas las lee intoCHAT, con el user agent intoCHAT-Crawler/1.0. Las páginas que necesitan un navegador para mostrar su texto, las que rechazan a intoCHAT o le muestran una comprobación contra bots, y todas las páginas cuando hay un país elegido las lee nuestro proveedor de rastreo. intoCHAT no controla ni publica su user agent ni sus direcciones IP, así que no hay una lista de IP que permitir. Si tu cortafuegos permite autorizar un user agent, autoriza intoCHAT-Crawler/1.0; si no, pide a quien gestiona la web que deje pasar estas páginas por la comprobación contra bots, por ejemplo con una regla del cortafuegos que les ahorre el desafío, y después añade las páginas de nuevo. Si solo pausas la comprobación contra bots mientras rastreas, las actualizaciones posteriores y las revisiones del Auto-resync fallarán igual.
  • El sitemap lo descarga intoCHAT, con el user agent intoCHAT-Sitemap-Fetcher/1.0. Autorizar también este permite que Find pages lea tu sitemap.
  • Demasiadas peticiones (429): activa el modo lento y vuelve a intentarlo.

Añadir el contenido de otra forma

  • Pega el texto de la página en la pestaña Text. Consulta Texto y Q&A.
  • Guarda la página como PDF desde tu navegador y súbela en la pestaña Files. Consulta Archivos.
  • Para una página que la búsqueda no encontró, prueba Single page mode.

Solo se pueden rastrear direcciones públicas http y https. Se rechazan las páginas que requieren iniciar sesión, las direcciones con usuario y contraseña y las direcciones de redes privadas o internas.

Mantener las páginas al día

Re-index saved text (reindexar el texto guardado) solo vuelve a entrenar el texto leído antes. Para recoger los cambios de tu web:

  • Auto-resync: actívalo en la tarjeta Auto-resync de la pestaña Knowledge. A diario o cada semana, intoCHAT vuelve a leer tus páginas y solo reentrena las que cambiaron de texto. El texto que se repite en toda la web, como los menús y los pies de página, no cuenta como cambio. Consulta Auto-resync.
  • Una página: haz clic en Refresh from website (el icono de la nube) en su fuente. intoCHAT vuelve a leer esa página y, si su texto cambió, la guarda y la reentrena al momento; si no, ves «No changes found».
  • Un sitio o una carpeta: en la lista de fuentes, elige Group by site and folder y usa el icono de la nube del grupo. Consulta Gestionar fuentes.
  • Muchas páginas tras una búsqueda: añádelas de nuevo con Find pages y después entrena. Las fuentes existentes se actualizan en lugar de duplicarse.

Una página leída en la última hora puede venir de una copia en caché.

Ver como Markdown