So analysierst du die Sitemap einer Website

Bei der SEO-Arbeit an jeder Website ist ein unverzichtbarer Schritt die Analyse der sitemap.

Prüfen, ob es eine gibt, was sie enthält, ob sie verbessert werden kann…

Bei kleinen Websites ist das wichtig, doch bei großen, etwa bei markenübergreifenden Ecommerce-Shops, ist es absolut entscheidend, denn bei diesen Projekten ist die Optimierung des crawl budget –der Zeit, die der Googlebot zum Crawlen unserer Website erhält– ein Muss, wenn wir bei umkämpften Suchbegriffen gut ranken wollen.

Und eine Möglichkeit dafür ist, die Sitemap richtig zu verwalten.

In diesem Artikel möchte ich dir erklären, wie du sie analysierst. Doch falls du gerade erst mit SEO anfängst, beginnen wir zunächst mit den Grundlagen…

Was ist eine Sitemap?

Die Sitemap beziehungsweise Sitemap.xml ist nichts anderes als eine Datei oder eine Gruppe von Dateien im Format .xml die den Bots mitteilen, aus welchen URLs unsere Website besteht.

Falls du es nicht weißt: Eine .xml-Datei enthält mehrere Datensätze, die jeweils unterschiedliche Werte für bestimmte Merkmale besitzen:

Auch wenn sie so aussieht, stell sie dir wie eine Excel-Datei vor: Jede Zeile zeigt einen Datensatz und jede Spalte den Wert dieses Datensatzes für ein bestimmtes Merkmal.

Du kannst sie sogar mit Excel öffnen:

Wie gesagt, diese Datei sollte alle URLs unserer Website enthalten, die Google crawlen soll.

Diese Feinheit ist wichtig, denn es kann URLs geben, die wir aus bestimmten Gründen nicht indexieren wollen (rechtliche Hinweise, Kundenbereich) und die deshalb nicht in der Sitemap erscheinen sollten.

Diese Datei muss auf unseren Server hochgeladen werden. Sobald sie dort liegt (jedes CMS kann sie irgendwie erzeugen), übermitteln wir ihre URL an die Google Search Console, damit Googles Crawler sie crawlt.

Jetzt weißt du, was sie ist. Nun erkläre ich dir, wie du sie analysierst.

So analysierst du die Sitemap

Ich verwende dafür Screaming Frog, wahrscheinlich das leistungsstärkste Tool überhaupt für Onpage-SEO.

Installiere es also zunächst auf deinem Computer.

Sobald du es hast, zeige ich dir, wie du die drei notwendigen Schritte ausführst.

#1. Die URL der Sitemap herausfinden

Um eine Sitemap zu analysieren, musst du sie zunächst finden.

Wenn es unsere Website oder ein von uns betreutes Projekt ist, können wir immer in GSC nachsehen.

Wollen wir jedoch die Sitemap der Konkurrenz analysieren (ja, auch das geht), müssen wir sie ausfindig machen.

Dazu öffnen wir die Datei robots.txt.

Diese Datei befindet sich im Stammverzeichnis der Domain. Beispiel:

https://www.yopongoelhielo.com/robots.txt

Wenn wir sie aufrufen, sehen wir ungefähr Folgendes:

Dort steht die URL, die wir benötigen.

Wir kopieren sie und öffnen Screaming Frog.

#2. Screaming Frog konfigurieren

Hier ändern wir zwei Dinge.

Das erste ist optional. Ehrlich gesagt habe ich nie beobachtet, dass es die Ergebnisse verändert, aber ich mache es aus Gewohnheit.

Ich meine damit, die Einstellungen zu öffnen und im Bereich „User-Agent“ Googlebot (Smartphone) auszuwählen, um Googles Crawler zu simulieren:

Das zweite ist verpflichtend und besteht darin, Screaming Frog in den Listenmodus zu versetzen, damit ausschließlich die URLs der Sitemap und keine weiteren gecrawlt werden:

#3. Die Sitemap importieren

Jetzt klicken wir auf Importieren und anschließend auf „XML-Sitemap herunterladen“:

Wir fügen die aus robots.txt kopierte Sitemap-URL in das Programm ein:

Nach der Bestätigung beginnt das Programm, die URLs der Sitemap zu crawlen:

Noch etwas: Wenn die übergebene URL eine „Sitemap der Sitemaps“, also eine „Index“-Sitemap mit weiteren Sitemaps ist (sehr üblich, wenn du sie mit dem SEO-Plugin Yoast in WordPress erzeugst), fragt das Programm möglicherweise, ob alle URLs verarbeitet werden sollen. Darauf antworten wir mit Ja.

Damit sind die Vorbereitungen abgeschlossen.

Sobald Screaming Frog die gesamte Sitemap verarbeitet hat, beginnt die eigentliche Analyse.

Erkenntnisse und Prüfpunkte

Nachdem das Tool die Informationen gesammelt hat, können wir einige für SEO relevante Fragen beantworten.

Wie viele URLs enthält die Sitemap?

Screaming Frog verrät es dir:

Diese Zahl lässt sich beispielsweise sinnvoll mit der Anzahl der in Google indexierten URLs vergleichen, die wir aus der Google Search Console erhalten:

Wenn es Unterschiede gibt –und das ist meistens der Fall–, müssen wir den Grund. Und prüfen, ob diese Unterschiede berechtigt sind.

Übrigens lautet die Empfehlung, dass jede Sitemap höchstens 1.000 URLs. enthält. Hat deine Website mehr, solltest du mehrere Sitemaps erstellen, die über die Haupt-Sitemap erreichbar sind.

Ich persönlich mache das allerdings nur, wenn ich in GSC Indexierungsprobleme sehe.

Enthält die Sitemap nicht indexierbare URLs?

Alle URLs in der Sitemap sollten indexierbar sein. Schließlich ist die Indexierung von URLs der grundlegende Zweck von Sitemaps, weshalb wir keine „nicht indexierbaren“ URLs aufnehmen sollten.

Screaming Frog zeigt uns, falls es welche gibt:

Eine weitere Möglichkeit, diese und einige der folgenden Daten anzusehen, ist das spezielle Sitemap-Menü:

Enthält sie in robots.txt blockierte oder kanonisierte URLs?

In dieser Spalte sehen wir, ob einer dieser Fälle vorkommt, was nicht passieren sollte.

Wenn wir übrigens von „kanonisierten“ URLs sprechen, meinen wir Sitemap-URLs, deren Meta-Tag „canonical“ auf eine andere URL verweist. In der Sitemap sollte nur diese Ziel-URL erscheinen.

Wenn wir eine solche URL sehen, klicken wir einfach darauf. Das Tool zeigt uns dann die kanonische URL (also die URL, die in der Sitemap stehen sollte):

Gibt es paginierte Seiten?

Mit paginierten Seiten meine ich Seite 2 und alle folgenden Seiten in Produktlisten eines Ecommerce-Shops oder in den Artikellisten eines beliebigen Blogs.

Keine davon sollte in der Sitemap enthalten sein.

Zur Kontrolle betrachten wir diese Spalte und prüfen visuell ob solche Seiten vorhanden sind:

Gibt es verwaiste Seiten?

Eine verwaiste Seite ist eine Seite, auf die keine Links verweisen die von anderen Seiten der Website kommen.

Das heißt, sie ist nur erreichbar, wenn man ihre URL kennt, und ist daher für deine Website nicht relevant.

Eine Seite in der Sitemap sollte wichtig sein. Deshalb sollten dort keine verwaisten Seiten auftauchen.

Hier können wir prüfen, dass es keine gibt:

Gibt es 301- oder 404-Codes?

Dabei handelt es sich um zwei vom Server zurückgegebene Antwortcodes wenn eine Ressource wie eine Webseite angefordert wird.

Hier sehen wir die Codewerte für jede URL der Sitemap:

Die Codes 301 sind Weiterleitungen.

In der Sitemap sollten nur die endgültigen URLs stehen, denn Weiterleitungen verschwenden extrem wertvolle Zeit des Googlebots.

Die Codes 404 sind Fehlercodes die durch nicht vorhandene URLs entstehen. Selbstverständlich sollte unsere Sitemap keine davon enthalten.

Relevanz der Seiten

Bisher haben wir uns die Fehler angesehen.

Bei großen Websites müssen wir außerdem prüfen, ob alle enthaltenen Seiten relevant sind, oder ob es sich lohnt, unsere Sitemap etwas „zurückzuschneiden“, damit sich Googles Crawler nicht „im Geäst verliert“ (das Wortspiel musste sein).

Hier musst du (oder dein SEO-Spezialist) entscheiden, ob URLs ausgeschlossen werden sollen.

Wie du oben siehst, enthält die Sitemap von Yo pongo el hielo 22k URLs, während Google 30k indexiert und 230k gecrawlt, aber nicht indexiert hat – also elfmal so viele:

All diese URLs sind für uns zweitrangig und wir wollen nicht, dass sie in den Google-SERPs erscheinen wenn dadurch das Ranking anderer URLs leidet, die unbedingt erscheinen sollten.

Deshalb lassen wir sie unter anderem aus der Sitemap heraus.

Mit diesem Beispiel ist hoffentlich klar, wie du deine Sitemap optimierst.

Damit haben wir die Analysepunkte abgeschlossen, die du in der Sitemap deiner Website prüfen solltest, um sie in Form zu halten.

War doch gar nicht so schlimm, oder?

Fazit

Im Laufe des Artikels hast du gesehen, wie du die Sitemap deiner Website analysierst und welche Aspekte du prüfen musst.

Ich hoffe, du nimmst mit, dass die Analyse einer Website-Sitemap überhaupt nicht kompliziert ist (die Korrektur ist natürlich eine andere Sache).

Der Prozess besteht aus nur drei Schritten und das Tool erledigt alles. Auch die Zahl der Prüfpunkte hält sich in Grenzen…

Wenn doch alle Aspekte der Website-Verwaltung so einfach wären…

Wie dem auch sei: Jede Woche veröffentliche ich einen Artikel über digitale Geschäftsthemen, manche einfacher, andere schwieriger – ganz normal.

Du erhältst jeden Donnerstag einen neuen Artikel per E-Mail, wenn du dich hier anmeldest.