Zum Inhalt springen
Dokumentation

Website crawlen und deinen KI-Agenten trainieren

Füge deine Website einem intoCHAT-Agenten hinzu: Seiten finden, im Ordnerbaum auswählen, Pfade ausschließen, Crawl-Einstellungen (Land, Slow mode, ?query-Seiten), Websites, die Crawler blockieren, Crawl-Limits und Seiten aktuell halten.

Am schnellsten bekommt dein Agent Wissen, wenn er deine Website liest. Du gibst eine Adresse ein, intoCHAT listet die gefundenen Seiten auf, und du entscheidest, welche hinzukommen.

Du legst gerade einen neuen Agenten an? Start from your website im Dialog zum Erstellen liest deine Startseite und bis zu 4 wichtige Seiten und trainiert den Agenten für dich. Siehe Schnellstart.

Seiten finden und hinzufügen

  1. Öffne den Tab Knowledge (Wissen) des Agenten und wähle unter Add knowledge den Bereich Website.
  2. Gib deine Website unter Website URL ein, zum Beispiel https://example.com.
  3. Optional: Trage unter Exclude URLs containing Adressteile ein, die übersprungen werden sollen, getrennt durch Kommas, zum Beispiel /blog, /careers, ?lang=.
  4. Klicke auf Find pages (Seiten finden).
  5. Prüfe die Liste, die die Seiten nach Ordnern gruppiert. Nutze Filter pages…, Select all (alle) oder None (keine), hake einen Ordner an, um alle seine Seiten auszuwählen, oder setze Haken einzeln.
  6. Klicke auf Add … selected pages und warte, bis der Fortschrittsbalken durchgelaufen ist.
  7. Klicke oben im Tab auf Train agent. Das Training läuft auf dem Server weiter, auch wenn du die Seite verlässt.

Hinzugefügte Seiten werden sofort mit dem Status Pending (ausstehend) gespeichert. Der Agent nutzt sie erst nach dem Training.

Wie Seiten gefunden werden

Find pages kombiniert zwei Methoden:

  • Sitemap: intoCHAT sucht an üblichen Stellen wie /sitemap.xml und /wp-sitemap.xml sowie in der Zeile Sitemap: der robots.txt nach einer Sitemap. Einträge für Login-, Registrierungs- und Admin-Seiten werden übersprungen.
  • Link-Map: Ein Crawler sammelt die Links auf derselben Domain.

Jede Methode liefert bis zu 500 Adressen. Dubletten wie /about und /about/, Bilder, Feeds und andere Dateien, die keine Seiten sind, werden entfernt. Links auf PDF-Dateien bleiben in der Liste und werden wie Seiten gelesen. Tracking-Parameter wie utm_source, gclid und fbclid werden aus den Adressen entfernt, weil sie nie ändern, was auf einer Seite steht. Wie andere ?query-Adressen behandelt werden, hängt von den Crawl-Einstellungen ab.

Bei einer mehrsprachigen Website mit Sprachordnern wie /de/ und /fr/ erscheint über der Liste eine Zeile Languages (Sprachen). Vorausgewählt sind die Seiten in der Sprache der eingegebenen Adresse und die Startseite; ein Klick auf eine Sprache wählt alle ihre Seiten aus oder ab. Seiten, die schon in deinem Wissen sind, zeigen already added und sind nicht ausgewählt.

Seiten im Ordnerbaum auswählen

Die gefundenen Seiten erscheinen als Ordner, die sich aus ihren Adressen ergeben, etwa /blog und /blog/2026. Die Seite eines Ordners selbst, etwa /blog, steht im Ordner. Stammen die Seiten von mehr als einem Host, zum Beispiel von einer Subdomain, bekommt jede Website einen eigenen Ordner.

  • Jeder Ordner zeigt, wie viele Seiten er enthält, oder zum Beispiel „3 of 12“, wenn einige davon ausgewählt sind.
  • Das Kästchen eines Ordners wählt alle seine Seiten aus. Bei einem vollständig ausgewählten Ordner hebt es die Auswahl auf. Sind nur einige Seiten ausgewählt, zeigt das Kästchen einen teilweise ausgewählten Zustand.
  • Ordner mit mehr als 15 Einträgen sind anfangs zugeklappt. Open all folders und Close all klappen alle Ordner auf einmal auf oder zu.
  • Sobald du in Filter pages… tippst, klappen alle Ordner auf, damit jede passende Seite sichtbar ist.
  • Seiten zeigen already added, added oder failed, mit dem Grund, wenn du mit der Maus darüberfährst. Hinzugefügte Seiten und Seiten, die gerade gelesen werden, lassen sich nicht auswählen.

Unter der Liste zählt eine Zeile deine Auswahl, zum Beispiel „12 of 340 pages selected. One crawl from your plan reads up to 600 pages · 8 crawls left this month.“ Die verbleibenden Crawls erscheinen nur, wenn dein Plan ein Crawl-Limit hat. Sind mehr als 600 Seiten ausgewählt, siehst du „More than 600 pages are selected, so adding them may use a second crawl.“

Eine Suche endet bei etwa 500 Seiten. Erreicht die Liste diese Größe, weist intoCHAT darauf hin, dass Seiten fehlen können. Füge diese mit Single page mode hinzu.

Was von jeder Seite gelesen wird

intoCHAT liest den Hauptinhalt jeder Seite. Chat-Widgets und Cookie-Banner werden entfernt, und Menüs oder Banner, die auf jeder Seite wiederkehren, bleiben nur einmal erhalten.

Manche Websites bauen ihren Inhalt erst nach dem Laden per JavaScript auf. Kommen mehrere Seiten als dieselbe leere Hülle zurück, liest intoCHAT sie erneut und lässt ihnen ein paar Sekunden zum Laden, ebenso dem Rest des Durchlaufs. Solche Websites brauchen deshalb länger. Ist der Crawler ausgelastet, pausiert der Durchlauf mit einem Countdown und läuft dann von selbst weiter.

Seiten mit Zeitüberschreitung werden am Ende ein zweites Mal versucht. Scheitert eine Seite weiterhin, ist sie als failed markiert. Fahre mit der Maus darüber, um den Grund zu sehen, und füge sie danach erneut hinzu.

Crawl-Einstellungen

Unter der Adresse und ihren Optionen öffnest du Crawl settings, um festzulegen, wie die Website dieses Agenten gelesen wird. Zugeklappt fasst das Feld sie zusammen, zum Beispiel „Automatic country · normal pace · ?query pages ignored“. Jede Änderung wird sofort gespeichert und gilt für alles, was die Website des Agenten liest: Find pages, das Hinzufügen von Seiten, Refresh from website und Auto-resync. Viewer sehen die Einstellungen, können sie aber nicht ändern.

Scraping-Land

Wähle Automatic oder ein Land: Vereinigte Staaten, Vereinigtes Königreich, Deutschland, Frankreich, Italien, Spanien, Schweiz, Österreich oder die Niederlande. Seiten werden dann so gelesen, wie ein Besucher aus diesem Land sie sieht. Das hilft bei Websites, die Preise, Sprache oder Inhalte je nach Standort ändern. Bei Automatic liest intoCHAT die Seiten selbst; für die Seiten, die unser Crawling-Anbieter liest, wählt dieser das Land.

Ist ein Land gewählt, liest unser Crawling-Anbieter jede Seite aus diesem Land: beim Hinzufügen und Aktualisieren von Seiten und bei Auto-resync. Find pages liest die Sitemap und die Links der Startseite direkt von intoCHAT aus, für sie gilt das Land deshalb nicht.

Slow mode

Schalte Slow mode für Websites ein, die blockieren oder in Zeitüberschreitungen laufen, wenn viele Seiten auf einmal gelesen werden. intoCHAT liest dann 5 Seiten pro Anfrage statt 10, davon 2 gleichzeitig, und pausiert zwischen den Anfragen 4 Sekunden. Crawls dauern länger, und ein Crawl deines Plans reicht für etwa 300 statt 600 Seiten. Auto-resync liest pro Durchlauf weniger Seiten und prüft den Rest beim nächsten Durchlauf.

Seiten mit ?query

Manche Websites unterscheiden Seiten nur durch das, was in der Adresse nach dem ? steht, zum Beispiel /product?id=12 und /product?id=13.

  • Ist Treat ?query pages as separate pages aus (die Voreinstellung), lässt die Link-Map Adressen mit ?query weg. Adressen, die deine Sitemap mit einer Query aufführt, etwa ?page_id=12, bleiben so in der Liste, wie sie dort stehen.
  • Ist die Option an, listet die Link-Map auch ?query-Adressen. Tracking-Parameter werden entfernt und die übrigen Parameter in eine feste Reihenfolge gebracht, sodass ?size=m&color=red und ?color=red&size=m eine Seite sind. Aufgeführt werden höchstens 100 ?query-Seiten und höchstens 20 für denselben Pfad, damit die Filterkombinationen eines Shops die Liste nicht überschwemmen. Wurden welche weggelassen, sagt die Liste, wie viele; füge diese mit Single page mode hinzu.

Die Einstellung entscheidet, welche Seiten gefunden werden. Bereits hinzugefügte Seiten behalten ihre Adresse und werden so neu gelesen, wie sie sind.

Single page mode

Schalte Single page mode (Einzelseiten-Modus) ein, um eine einzelne Adresse hinzuzufügen, ohne die Website zu durchsuchen. Der Button heißt dann Add page. Nutze ihn für eine Seite, die nicht gefunden wurde. Um eine bereits hinzugefügte Seite zu aktualisieren, nutze stattdessen Refresh from website (von der Website aktualisieren) bei ihrer Quelle.

Crawl-Limits

PlanWebsite-Crawls pro MonatZeichen pro Agent
Free1100K
Starter9500K
Pro201M
Enterpriseindividuellindividuell
  • Die Suche mit Find pages verbraucht keinen Crawl.
  • Das Hinzufügen von Seiten verbraucht einen Crawl, egal ob Auswahl oder Einzelseite. Seiten werden in Paketen zu 10 gelesen, und ein Crawl umfasst 60 Pakete, also etwa 600 Seiten. Bei Websites, die Zeit zum Laden ihres JavaScripts brauchen, und im Slow mode enthält ein Paket 5 Seiten, ein Crawl reicht dann für etwa 300. Ein längerer Durchlauf verbraucht einen weiteren Crawl. Refresh from website bei einer Quelle zählt wie das Hinzufügen einer einzelnen Seite.
  • Eine Gruppe von Seiten in der Quellenliste zu aktualisieren, verbraucht ebenso einen Crawl.
  • Auto-resync verbraucht für jeden Durchlauf, der Webseiten liest, einen Crawl, für bis zu 30 Seiten.
  • Start from your website beim Erstellen eines Agenten verbraucht einen Crawl.
  • Crawls zählen pro Konto über alle Agenten hinweg und werden jeden Monat zurückgesetzt.
  • Gecrawlter Text zählt zum Zeichenlimit des Agenten. Erreicht ein Durchlauf das Limit, werden die restlichen Seiten als fehlgeschlagen markiert.

Sind keine mehr übrig, zeigt intoCHAT „Monthly crawl limit reached“. Du kannst aber weiterhin Dateien sowie Text und Q&A hinzufügen.

Websites, die Crawler blockieren

Manche Websites weisen automatische Besucher per Bot-Schutz oder Firewall ab. Dann siehst du „No pages found“, oder Seiten scheitern mit einem dieser Gründe:

  • „The site refused the crawler (401).“ oder „(403).“
  • „The site turned the crawler away for sending too many requests (429).“
  • „The site showed a bot check (such as Cloudflare's) instead of the page.“
  • „No readable text on this page.“ oder „No content returned for this page.“ Eine leere Seite kann auch einfach keinen Text haben.

Scheitern Seiten auf diese Weise, erscheint nach dem Durchlauf unter Crawl settings der Hinweis „The site may be blocking our crawler“. Eine Aktualisierung, die so scheitert, sagt das und bietet How to fix an, und eine Quelle, deren letzte Prüfung durch Auto-resync so gescheitert ist, zeigt darunter „The site may be blocking our crawler: how to fix“.

Den Crawler hereinlassen

  • Seiten liest intoCHAT selbst, mit dem User-Agent intoCHAT-Crawler/1.0. Seiten, die erst im Browser Text zeigen, Seiten, die intoCHAT abweisen oder ihm eine Bot-Prüfung zeigen, und jede Seite bei gewähltem Land liest unser Crawling-Anbieter. Seinen User-Agent und seine IP-Adressen kontrolliert und veröffentlicht intoCHAT nicht, es gibt also keine IP-Liste zum Freigeben. Kann deine Firewall einen User-Agent freigeben, gib intoCHAT-Crawler/1.0 frei; sonst bitte die Person, die die Website betreibt, diese Seiten an der Bot-Prüfung vorbeizulassen, etwa mit einer Firewall-Regel, die die Prüfung für sie überspringt, und füge die Seiten dann erneut hinzu. Setzt du die Bot-Prüfung nur während des Crawls aus, scheitern spätere Aktualisierungen und Prüfungen durch Auto-resync auf dieselbe Weise.
  • Die Sitemap ruft intoCHAT selbst ab, mit dem User-Agent intoCHAT-Sitemap-Fetcher/1.0. Gibst du auch diesen frei, kann Find pages deine Sitemap lesen.
  • Zu viele Anfragen (429): Schalte den Slow mode ein und versuche es erneut.

Inhalte auf anderem Weg hinzufügen

  • Füge den Text der Seite im Tab Text ein. Siehe Text und Q&A.
  • Speichere die Seite in deinem Browser als PDF und lade sie im Tab Files hoch. Siehe Dateien.
  • Für eine Seite, die nicht gefunden wurde, probiere Single page mode.

Gecrawlt werden nur öffentliche http- und https-Adressen. Seiten hinter einem Login, Adressen mit Benutzername und Passwort sowie private oder interne Netzwerkadressen werden abgelehnt.

Seiten aktuell halten

Re-index saved text trainiert nur den zuvor gelesenen Text erneut. So übernimmst du Änderungen auf deiner Website:

  • Auto-resync: Schalte es in der Karte Auto-resync im Tab Knowledge ein. Täglich oder wöchentlich liest intoCHAT deine Seiten neu und trainiert nur die neu, deren Text sich geändert hat. Text, der sich auf der Website wiederholt, etwa Menüs und Fußzeilen, zählt nicht als Änderung. Siehe Auto-resync.
  • Eine Seite: Klicke bei ihrer Quelle auf Refresh from website (das Wolken-Symbol). intoCHAT liest die Seite neu und speichert und trainiert sie sofort, wenn sich ihr Text geändert hat; sonst siehst du „No changes found“.
  • Eine Website oder ein Ordner: Wähle in der Quellenliste Group by site and folder und nutze das Wolken-Symbol der Gruppe. Siehe Quellen verwalten.
  • Viele Seiten nach einer Suche: Füge sie über Find pages erneut hinzu und trainiere dann. Bestehende Quellen werden aktualisiert statt verdoppelt.

Eine Seite, die in der letzten Stunde abgerufen wurde, kann aus einer zwischengespeicherten Kopie stammen.

Als Markdown anzeigen