Crawler

Was ist ein Crawler?

Ein Crawler ist ein automatisiertes Programm, das Websites selbstständig abruft, ihre Inhalte ausliest und den enthaltenen Links folgt, um weitere Seiten zu finden. Weil er sich dabei Schritt für Schritt durch das Web bewegt, wird er auch als Bot, Spider oder Webcrawler bezeichnet. Ziel ist es, das Netz systematisch zu erfassen und die gefundenen Inhalte für die Suchmaschine aufzubereiten.

Das bekannteste Beispiel ist der Googlebot, der Crawler von Google. Aber auch andere Suchmaschinen setzen eigene Programme ein, etwa der Bingbot von Microsoft. Neben Suchmaschinen nutzen zahlreiche weitere Dienste Crawler, um Daten zu sammeln.

Wie ein Crawler arbeitet

Ein Crawler startet mit einer Liste bekannter Adressen. Er ruft eine Seite auf, liest deren Inhalt und Struktur aus und sammelt alle Links, die darauf verweisen. Diese neuen Adressen stellt er in eine Warteschlange und arbeitet sie nach und nach ab. So hangelt er sich von Seite zu Seite und deckt mit der Zeit große Teile des Webs ab.

Die dabei erfassten Inhalte fließen anschließend in den Index der Suchmaschine – eine riesige, durchsuchbare Datenbank. Nur was gecrawlt und indexiert wurde, kann später überhaupt in den Suchergebnissen erscheinen. Crawling und Indexierung sind damit die technische Grundlage jeder Auffindbarkeit.

Crawler steuern

Website-Betreiber können beeinflussen, wie Crawler mit ihren Seiten umgehen. Dafür stehen mehrere Werkzeuge zur Verfügung:

• robots.txt: Diese Datei im Wurzelverzeichnis legt fest, welche Bereiche ein Crawler abrufen darf und welche nicht.
• Meta-Robots-Angaben: Anweisungen wie „noindex“ bestimmen, ob eine einzelne Seite in den Index aufgenommen werden soll.
• XML-Sitemap: Eine strukturierte Liste wichtiger Seiten hilft dem Crawler, Inhalte schneller und vollständiger zu finden.
• Interne Verlinkung: Gut verlinkte Seiten werden zuverlässiger erreicht als solche, auf die kaum ein Link zeigt.

Wie sich diese Steuerung sinnvoll einsetzen lässt, ist Teil der technischen Suchmaschinenoptimierung.

Crawl-Budget und Bedeutung für SEO

Suchmaschinen wenden für jede Website nur begrenzte Ressourcen auf. Wie viele Seiten ein Crawler in einem bestimmten Zeitraum abruft, wird häufig als Crawl-Budget bezeichnet. Bei kleinen Websites spielt das kaum eine Rolle, bei sehr großen Portalen mit Tausenden Seiten wird es dagegen wichtig: Verschwenden viele unwichtige oder fehlerhafte Adressen das Budget, werden relevante Inhalte seltener aktualisiert.

Eine saubere Seitenstruktur, schnelle Ladezeiten und der Verzicht auf überflüssige URLs helfen dem Crawler, die wirklich wichtigen Inhalte effizient zu erfassen. Damit ist die Crawlbarkeit einer Website eine grundlegende Voraussetzung für gute Sichtbarkeit.

Häufige Fragen

• Was ist der Unterschied zwischen Crawler und Googlebot?

  Crawler ist der Oberbegriff für Programme, die Websites automatisch abrufen. Der Googlebot ist der konkrete Crawler von Google. Jeder Googlebot ist also ein Crawler, aber nicht jeder Crawler gehört zu Google.

• Kann ich einen Crawler von meiner Seite aussperren?

  Ja. Über die Datei robots.txt und Meta-Robots-Angaben lässt sich festlegen, welche Bereiche ein Crawler abrufen oder indexieren darf. Seriöse Crawler halten sich an diese Vorgaben, unseriöse ignorieren sie mitunter.

• Was bedeutet Crawling für die Sichtbarkeit?

  Nur Seiten, die ein Crawler abruft und indexiert, können in den Suchergebnissen erscheinen. Ist eine Seite nicht crawlbar, bleibt sie für die Suche unsichtbar – unabhängig davon, wie gut ihr Inhalt ist.