Crawl Optimization – so steuert man den Google-Bot

Vor einigen Wochen habe ich bereits in einem unserer Wochenrückblicke über das Thema Crawl Optimization geschrieben. Heute möchte ich mich intensiver mit dem Thema auseinandersetzen und euch ein paar nützliche Tipps und Tricks an die Hand geben, wie man den Google-Bot zumindest ein Stück weit steuern und auf die richtigen bzw. wichtigen Seiten schicken kann. Los geht’s!

Crawl Optimization – warum ist sie wichtig?

Das World Wide Web enthält eine unvorstellbare Menge an Informationen auf unzähligen Seiten – Tendenz steigend. Als Suchmaschine ist Google bestrebt, dem Nutzer zu jeder Suchanfrage das passendste Ergebnis aus diesem riesigen Informationsangebot zu liefern. Dazu schickt die Suchmaschine Crawler in die Untiefen des Webs, die Webseiten auslesen und erfassen, sodass sie in den Index aufgenommen werden und in den Google-SERPs zu passenden Suchanfragen ranken können.

Welche Faktoren bestimmen, wie der Google-Bot eine Seite crawlt?

Bedingt durch die große Anzahl an Websites im World Wide Web ist es verständlich, dass Google für jede Domain nur eine begrenzte Zeit aufbringen kann, um diese zu crawlen und Unterseiten zu erfassen. Doch wovon hängt es ab, wie der Crawler eine Website ausliest? Hier spielen drei Aspekte eine Rolle:

1. Welche Seiten werden gecrawlt? Das hängt u.a. von der Anzahl der Backlinks und der Anzahl der internen Links ab, die auf die jeweilige Unterseite verweisen.
2. Wie viele Seiten werden gecrawlt? Das wird durch das Crawl-Budget bestimmt. Jede Domain verfügt über ein individuelles Crawl-Budget, das festlegt, wieviel Zeit der Crawler auf der Domain aufbringt bzw. wie viele Unterseiten er ausliest. Laut Matt Cutts hängt die Anzahl der Seiten, die der Google-Bot auf einer Domain crawlt, vor allem von deren PageRank ab.
3. Wie häufig besucht der Google-Bot die Website? Das hängt u.a. davon ab, wie häufig die Website aktualisiert wird bzw. neuen Content veröffentlicht sowie von der Aktualität von Erwähnungen, Social Signals und externen Links.

In Anbetracht dieses begrenzten Crawl-Budgets ist es umso wichtiger, dass der Crawler der Suchmaschine die wichtigen Seiten der Domain crawlt und keine Zeit auf unwichtigen Seiten verschwendet. Und genau das ist das Ziel der Crawl Optimization. Es geht darum, insgesamt eine möglichst große Zahl an Unterseiten crawlen zu lassen, unwichtige Seiten vom Crawling auszuschließen und mögliche „Sackgassen“ wie schlechte 404-Fehlerseiten aufzulösen, sodass der Google-Bot hier nicht unnötig Zeit aufwendet.

Neben dem Crawl-Budget verfügt jede Domain über ein individuelles Index-Budget, das bestimmt, wie viele URLs einer Domain maximal in den Index von Google aufgenommen werden. Gerade bei großen Web-Auftritten mit sehr vielen URLs kann es sinnvoll sein, im Zuge der Crawl Optimization unwichtige Seiten von der Indexierung auszuschließen, um das Index-Budget bestmöglich auszuschöpfen.

Hintergrund: Caffeine und der Google-Index

Im Juni 2010 implementierte Google mit Caffeine eine neue Art, Web-Inhalte zu indexieren. Caffeine hatte große Auswirkungen auf die Schnelligkeit, mit der Google Seiten crawlen und indexieren kann.

Vor Caffeine bestand der Google-Index aus verschiedenen Schichten, die in unterschiedlichen Zeitabständen aktualisiert wurden. Um eine dieser Schichten auf den neuesten Stand zu bringen, wurde das gesamte Web analysiert, was dazu führte, dass es häufig eine recht große Zeitspanne zwischen dem Finden einer neuen Seite und der tatsächlichen Indexierung gab.

Mit dem neuen Indexierungssystem Caffeine wird das Web in kleinen Portionen analysiert und der Index kontinuierlich und global erneuert. Die Crawl-Geschwindigkeit stimmt jetzt mit der Indexierungsgeschwindigkeit überein.

Diese Optimierung des Indexierungsvorgangs führte allerdings nicht dazu, dass jetzt viel mehr Seiten in den Index aufgenommen werden. Vielmehr ist es oft so, dass dieselben Seiten häufiger gecrawlt werden. Dies gilt vor allem für besonders wichtige und große Websites, denn Google strebt an, dass diese wichtigsten Seiten möglichst aktuell im Index sind.

Seiten, die regelmäßig gecrawlt werden, ranken in der Regel auch gut. Im Umkehrschluss heißt das: Seiten, die nur unregelmäßig gecrawlt werden, ranken dementsprechend schlechter. Auch hier wird also wieder deutlich: Crawl Optimization ist ein wichtiger Faktor, damit die wichtigen Seiten in den Index gelangen und erfolgreich ranken können.

Die Basis: eine flache Seitenarchitektur

Bevor man sich an die Umsetzung technischer Tricks macht, die den Suchmaschinen-Crawler auf die richtigen Seiten lenkt, sollte man zunächst einen Blick auf die Informationsarchitektur der Website werfen. Denn eines ist klar: Eine flache und übersichtliche Struktur, bei der jede Unterseite mittels weniger Klicks erreicht werden kann, ist nicht nur vorteilhaft für den User, sondern auch für den Crawler.

Das Thema Informationsarchitektur habe ich in einem meiner letzten Fachartikel bereits behandelt. Deshalb möchte ich an dieser Stelle nicht im Detail darauf eingehen, sondern nur die wichtigsten Aspekte kurz aufführen.

Auf moz.com stellt Rand Fishkin einige interessante Grafiken vor, die veranschaulichen, wie man die Webseitenarchitektur gestalten sollte, damit möglichst viele Unterseiten gecrawlt werden und in den Index gelangen.

Diese Grafik zeigt, wie viele Links die verschiedenen Arten von Unterseiten in der Regel bekommen. Die orangefarbene Seite ist die Homepage und verfügt in der Regel über die größte Anzahl an Backlinks. Die Kategorieseiten (violett) und die Unterkategorieseiten (grün) bekommen meist sehr wenige Backlinks. Der Großteil der Detailseiten (blau) bekommt sehr wenige Links, allerdings gibt es hier einige Ausnahmen, die sehr viele Backlinks generieren.

Die zweite Grafik zeigt, wie der Crawler der Suchmaschine solch eine Website crawlt. Eintrittspunkte sind die Seiten, die die meisten Backlinks generieren. Diese geben Linkjuice an die umliegenden Seiten weiter, die dadurch auch recht regelmäßig gecrawlt werden. Viele Seiten werden allerdings gar nicht vom Google-Bot besucht.

So viel zur Veranschaulichung. Hier nun einige Tipps zur Gestaltung der Informationsarchitektur und der internen Verlinkung:

• Die Informationsarchitektur möglichst flach halten, sodass jede Unterseite mit möglichst wenigen Klicks erreichbar ist.
• Seiten mit vielen Backlinks intern mit solchen verlinken, die mehr Linkpower brauchen. So werden diese Seiten gestärkt und öfter gecrawlt.
• Die wichtigsten Seiten in der Nähe zur Homepage platzieren. Diese gibt nämlich in der Regel am meisten Linkjuice weiter.
• Die wichtigsten Seiten sollten am öftesten intern verlinkt sein. Auch das hat direkte Auswirkungen auf das Crawl-Budget für diese Seiten.
• Neben der Homepage sollten auch Kategorieseiten durch mehr externe Links gestärkt werden. Diese können PageRank und Linkjuice und somit auch Crawl-Budget weiter in die Website hineinlenken. So sieht Google, dass alle Unterseiten wichtig sind und nicht nur die Homepage und einige einzelne Detailseiten.
• „Unendliche“ Crawl-Pfade sollten vermieden werden. Diese können z.B. bei Kalendern mit Links zu Hunderten von Events entstehen.

Technik zur Optimierung des Crawlings

Nachdem durch eine gut strukturierte Informationsarchitektur der Grundstein für die Crawl Optimization gelegt wurde, kommen wir nun auf die technischen Aspekte zu sprechen, mit deren Hilfe man dem Google-Bot mitteilen kann, wie er eine Website auslesen soll. Das Robots Exclusion Protocol wurde vor einiger Zeit bereits auf unserem Blog thematisiert. Dazu zählen die robots.txt, Metadaten, Sitemaps und Mikroformate, mit deren Hilfe man den Crawlern Anweisungen geben kann, wie sie sich auf einer Website verhalten sollen.

robots.txt

Mithilfe der robots.txt kann ein Webmaster festlegen, ob bestimmte Unterseiten, einzelne Verzeichnisse oder sogar die gesamte Website vom Crawling ausgeschlossen werden sollen. Der Suchmaschinen-Crawler hält sich in der Regel an die Anweisungen der robots.txt und wird dementsprechend kein Crawl-Budget für die ausgeschlossenen Seiten verwenden. Sinnvoll ist das zum Beispiel bei Kontaktformularen oder Login-Seiten, die vom Bot ohnehin nicht ausgefüllt werden können. Auch ist es möglich, spezielle Suchmaschinen-Crawler wie zum Beispiel den Google-Bot für Bilder von der Website auszuschließen.

Wichtig: Der Ausschluss einer Unterseite in der robots.txt ist keine Garantie dafür, dass diese nicht im Index auftaucht. Hält Google die Seite für wichtig, kann sie trotzdem in den SERPs erscheinen.

Wie man eine robots.txt erstellt, könnt ihr im Artikel robots.txt – so wird’s gemacht nachlesen.

Metadaten

Eine zweite Möglichkeit zur Crawler-Steuerung sind die Meta-Tags. Während in der robots.txt auch ganze Bereiche der Website vom Crawling ausgeschlossen werden können, beziehen sich die Meta-Angaben immer nur auf eine einzelne Seite und müssen dementsprechend bei jeder Seite einzeln eingefügt werden. Meta-Tags können praktischerweise sowohl in HTML-Dokumenten als auch in http-Headern (bei PDFs, Bildern, etc.) eingebaut werden.

Die wichtigsten und wohl auch bekanntesten Meta-Tags sind noindex und nofollow:

• noindex: Damit teilt man der Suchmaschine mit, dass die Seite nicht indexiert werden soll.
• nofollow: Hierdurch weiß der Crawler, dass er den Links auf der Seite nicht folgen soll.

In der Praxis sieht das Ganze zum Beispiel so aus:

<meta name="robots" content="noindex, nofollow"/>

Die Angaben in den Meta-Tags sind für den Google-Bot bindender als diejenigen in der robots.txt. Möchte man also sicher gehen, dass eine Seite tatsächlich nicht in den Index gelangt, sollte man auf die Meta-Tags zurückgreifen. Das ist die sicherere Alternative, da man so dem Bot explizit mitteilt, dass eine Seite nicht in den Index aufgenommen werden soll.

Um die Meta-Tags auslesen zu können, muss Google die Seite zunächst crawlen. Durch das Meta-Tag noindex wird also Crawl-Budget beansprucht, jedoch kein Index-Budget.

Außerdem gilt es, darauf zu achten, dass eine Seite nicht gleichzeitig via robots.txt ausgeschlossen und mittels Meta-Tag auf noindex gesetzt wird. Dann wird der Crawler die Seite nämlich gar nicht erst auslesen und hat keine Möglichkeit, an die noindex-Information aus den Meta-Daten zu kommen.

Sitemaps

XML-Sitemaps präsentieren dem Crawler der Suchmaschine die URLs einer Website als Liste. Somit kann die Suchmaschine schnell alle in der Sitemap aufgeführten Unterseiten erfassen. Das Crawlen der Seite ist somit leichter und die Struktur der Website wird vom Google-Bot schneller erkannt. Außerdem wird sichergestellt, dass der Crawler wirklich alle Unterseiten der Domain finden kann. Für multimediale Inhalte wie Videos und Bilder kann es sinnvoll sein, jeweils eine zusätzliche Sitemap anzulegen.

Damit Google möglichst schnell auf die Sitemap aufmerksam wird, kann es sinnvoll sein, den Speicherort der Sitemap in der robots.txt anzugeben.

Mikroformate

Mikroformate dienen dazu, Inhalte für Suchmaschinen mit zusätzlichen Informationen auszuzeichnen, sodass sie von den Suchmaschinen besser interpretiert werden können.

Im Zuge der Crawl-Optimierung ist vor allem das rel=nofollow-Attribut für Links interessant. Damit kann dem Crawler mitgeteilt werden, dass er einen bestimmten Link ignorieren und ihm somit nicht folgen soll. In der Praxis sieht das so aus:

<a href="http://beispiel.de/" rel="nofollow">Anchor-Text</a>

Monitoring mittels Server Logfiles

Wann immer man einen Aspekt einer Website optimieren möchte, ist auch ein Monitoring unabdingbar, um mögliche Fehlentwicklungen und Erfolge schnellstmöglich aufzudecken. SEOs nutzen hierfür zahlreiche Tools wie zum Beispiel die Google Webmaster Tools und Google Analytics, die bereits eine Vielzahl an Informationen darüber bieten, wie die verschiedenen User die Website nutzen.

Will man im Zuge der Crawl Optimization jedoch richtig in die Tiefe gehen und die Crawler der Suchmaschinen tracken, reichen diese Daten oft nicht aus. Dann bietet es sich an, die sogenannten Server Logfiles auszuwerten.

Server Logfiles sind detaillierte Berichte über verschiedenste Website-Zugriffe, in denen jede Aktion der User festgehalten wird. Das gilt nicht nur für Menschen, die die Website besuchen, sondern auch für sämtliche Crawler und Bots. Somit geben sie vollständig wieder, wie häufig ein Suchmaschinen-Crawler eine Website besucht, wie er sich auf der Website verhält, welche Crawl-Pfade er wählt und welche Unterseiten er ausliest.

Analysiert man diese Daten, lassen sich Rückschlüsse auf mögliches Optimierungspotenzial ziehen. Stößt ein Crawler beispielsweise besonders häufig auf 404-Fehlerseiten, so ist das ein eindeutiges Indiz für verschwendetes Crawl-Budget.

Die folgenden zwei Artikel befassen sich ausführlich mit dem Thema Logfile-Analyse und ihrem Nutzen für die Suchmaschinenoptimierung:

SEO Finds In Your Server Logs

SEO Finds in Your Server Logs, Part 2: Optimizing for Googlebot

Ich hoffe, ich konnte euch einen Überblick über die Grundzüge der Crawl Optimization geben und freue mich auf regen Austausch in den Kommentaren.

Wir wünschen euch noch eine schöne Restwoche!

Amke und die SEO Trainees