Sitemaps – was, wie, wofür?

Sitemaps sind ein wichtiger Bestandteil der OnPage-Optimierung einer Website und werden heute deshalb hier thematisiert. Ex-Trainee Sandra schrieb schon mal über das Robots Exclusion Protocol, in dem es um die robots.txt-Datei geht. Heute werden wir nun dem kleinen Bruder, dem Sitemaps-Protokoll, und der Sitemaps-Datei begegnen. Dabei werden wir lernen, was das Sitemaps-Protokoll ist, wie man eine Sitemap richtig anlegt und wie man sie bei den Suchmaschinen einreichen kann.

Sitemaps und Sitemaps-Protokoll – eine Einführung

Eine Sitemap ist eine XML (Extensible Markup Langauge)-Datei, die zusätzliche Informationen für Suchmaschinen-Crawler enthält. Während die robots.txt-Datei der Suchmaschine mitteilt, welche URLs nicht ausgelesen werden sollen, bietet die Sitemaps-Datei dem Webmaster die Möglichkeit, die Suchmaschine über auszulesende URLs seiner Domain zu informieren. Da viele Crawler nur einer bestimmten Anzahl von Links (meist nur bis in die fünfte Ebene) innerhalb einer Website folgen, ist die Datei für umfangreiche Webauftritte unentbehrlich, damit alle relevanten Unterseiten ausgelesen werden. Seiten, die weit von der Homepage entfernt liegen oder die mit JavaScript oder Adobe Flash gestaltet wurden, können davon also profitieren. Bis zum Jahr 2006 musste für jede Suchmaschine eine eigene Sitemaps-Datei erstellt werden – in diesem Jahr einigten sich die drei größten Suchmaschinen Google, Bing und Yahoo auf das Sitemaps-Protokoll als Standard. Folgende Informationen können in einer Sitemap hinterlegt werden:

• URL
• Datum der letzten Aktualisierung (im ISO 8601 Format)
• Änderungshäufigkeit (immer, stündlich, täglich, wöchentlich, monatlich, jährlich, niemals)
• Relevanz einer Seite (im Vergleich zu anderen Seiten derselben Domain zwischen 0.0 bis 1.0, wobei 1.0 die höchste Priorität hat. Voreinstellung ist der Wert 0.5)

Eine Sitemap anlegen – so geht’s!

Das Sitemaps-Protokoll ist eine UTF-8-kodierte Textdatei, die Extensible Markup Language enthält. Alternativ kann die Datei aus normalem Text bestehen oder auch in ein GZIP-Format gebracht werden. Der Dateiname ist im Gegensatz zu den robots.txt-Dateien bei der Sitemaps-Datei nicht relevant und komplett frei wählbar.

Im Kopf des Dokuments ist die Kennzeichnung als XML-Datei hinterlegt:

<?xml version=“1.0″ encoding=“UTF-8″?>

Darauf folgt der Tag:

<urlset />

Unter diesem Tag werden die Attribute der XML-Datei näher definiert. Alle Unterseiten des Webauftritts werden nun darunter als Kind-Elemente hinzugefügt:

<url />

Jeder <url /> Eintrag trägt weitere Kind-Elemente:

<loc /> zeigt die URL der Seite an.
<lastmod /> zeigt an, wann die Seite zum letzten Mal aktualisiert wurde.
<changefreq /> definiert, wie oft die Seite aktualisiert wird.
<priority /> gibt an, wie wichtig die Seite für den Webauftritt ist.

Eine Sitemap könnte also wie folgt aussehen:

<?xml version=“1.0″ encoding=“UTF-8″?>
<urlset xmlns=“http://www.sitemaps.org/schemas/sitemap/0.9″>
<url>
<loc>http://www.beispiel.de/seo-trainee-beispiel /</loc>
<lastmod>2013-19-06</lastmod>
<changefreq>never</changefreq>
<priority>0.9</priority>
</url>
</urlset>

Die maximale Größe einer Sitemap darf zehn Megabyte beziehungsweise 50.000 URLs betragen. Das Sitemaps-Protokoll ermöglicht daher auch die Auflistung von mehreren Sitemaps. Dies ist hauptsächlich für große Webpräsenzen relevant, kann aber auch für Websites mit mehreren Subdomains sinnvoll sein. Dazu muss ein Sitemap Index erstellt werden. Darin wird sowohl die Location der Sitemap als auch das Datum der letzten Aktualisierung vermerkt. Eine einfache Sitemap-Index-Datei sieht so aus:

<?xml version=“1.0″ encoding=“UTF-8″?>
<sitemapindex xmlns=“http://www.sitemaps.org/schemas/sitemap/0.9″>
<sitemap>
<loc>http://www.beispiel.de/sitemap1.xml.gz</loc>
<lastmod>2013-19-06</lastmod>
</sitemap>
<sitemap>
<loc>http://www.beispiel.de/sitemap2.xml.gz</loc>
<lastmod>2013-19-06</lastmod>
</sitemap>
</sitemapindex>

Wer WordPress oder ein anderes Content-Management-System verwendet, kann seine Sitemap in der Regel automatisch erstellen lassen. Bei WordPress kann man beispielsweise das Plugin „XML Sitemap Generator für WordPress“ nutzen. Wer seine Website komplett selbst aufgebaut hat, kann auch einen Sitemap-Generator verwenden:

Wo die Sitemap auf dem Server hinterlegt wird, entscheidet darüber, welche Dateien in der Sitemap enthalten sein können. Wenn die Sitemap auf http://www.beispiel.de/artikel/ angelegt wird, werden nur URLs berücksichtigt, die unterhalb dieses Verzeichnisses liegen. Daher empfiehlt sitemaps.org, die Sitemap im Wurzelverzeichnis anzulegen: http://www.beispiel.de/sitemap.xml.

Eine Sitemap einreichen – so geht’s!

Möglichkeit 1: robots.txt-Datei nutzen

Um die Sitemaps-Datei bei den Suchmaschinen einzureichen, kann man die robots.txt-Datei nutzen. Dazu wird einfach eine Zeile an die robots.txt-Datei angefügt:

Sitemap: http://www.beispiel.de/sitemap.xml

Möglichkeit 2: Webmaster Tools nutzen

Alternativ informiert man die Suchmaschinen über die jeweiligen Webmaster Tools über die angelegte Sitemap. So erhält man je nach Suchmaschine aktuelle Statusinformationen und Benachrichtigungen bei auftretenden Fehlern. Bei den Google Webmaster Tools gelangt man beispielsweise über Optimierung>Sitemaps>Sitemap hinzufügen/testen zur richtigen Seite.

Möglichkeit 3: Der manuelle Ping

In die Adresszeile des Browsers kann man einen Ping-Befehl eintragen, damit die URL mit der Sitemap schnellstmöglich gecrawlt wird. Der http Request dazu sieht so aus:

http://www.google.com/webmasters/tools/ping?sitemap=http://www.beispiel.de/sitemap.xml

Google empfiehlt, die URL zur Sitemap kodiert einzureichen. Das Tool „URL Decoder/Encoder“ übernimmt die Kodierung, sodass auch URLs mit Sonderzeichen korrekt vom Browser interpretiert werden.

Ich hoffe, ich konnte euch das Thema Sitemaps und Sitemaps-Protokoll näherbringen.

Noch eine schöne Restwoche wünschen

Gesa und die SEO Trainees