Sitemap und robots.txt einfach erklärt

Die XML-Sitemap ist eine Liste der Seiten einer Website, die Sie bei Google einreichen, um deren Auffindbarkeit zu erleichtern. Die Datei robots.txt teilt den Bots der Suchmaschinen mit, welche Bereiche der Website sie durchsuchen dürfen. Beide sind einfache technische Dateien, die in der Regel automatisch von einem modernen CMS erzeugt werden, doch eine fehlerhafte Konfiguration der einen oder anderen kann verhindern, dass ganze Seiten bei Google erscheinen.

Das Problem: zwei unsichtbare Dateien, die eine ganze Website blockieren können

Sitemap und robots.txt werden einem Besucher nie angezeigt. Sie liegen unter technischen Adressen (/sitemap.xml und /robots.txt), die im Alltag niemand aufruft. Gerade das macht sie gefährlich: Ein Konfigurationsfehler — eine robots.txt, die nach einer Migration versehentlich die gesamte Website blockiert, eine Sitemap, die auf veraltete URLs verweist — kann monatelang unbemerkt bleiben, während der organische Traffic einbricht, ohne dass eine sichtbare Fehlermeldung den Website-Betreiber alarmiert.

Es handelt sich um zwei unterschiedliche Dateien mit unterschiedlichen Aufgaben, die häufig verwechselt werden. Wer den Unterschied versteht, vermeidet die häufigsten Konfigurationsfehler.

Die XML-Sitemap: der Lageplan der Website für Suchmaschinen

Die Sitemap ist eine Datei im XML-Format, die die URLs der Website auflistet, teils mit zusätzlichen Informationen (Datum der letzten Änderung, Aktualisierungshäufigkeit). Sie garantiert nicht die Indexierung einer Seite, erleichtert aber deren Auffindung, insbesondere bei:

• Websites mit vielen Seiten (E-Commerce, aktive Blogs);
• tief liegenden Seiten, die intern nur wenig verlinkt sind;
• neueren Websites, deren Struktur Google noch nicht vollständig erfasst hat.

Ein modernes CMS (WordPress mit einem SEO-Plugin, Shopify, die meisten individuell entwickelten Lösungen) erzeugt die Sitemap automatisch unter ihreseite.de/sitemap.xml. Sie aktualisiert sich bei jeder neu veröffentlichten Seite von selbst. Die menschliche Aufgabe besteht vor allem darin, zu prüfen, dass sie existiert, aktuell ist und tatsächlich in der Google Search Console eingereicht wurde.

Die Datei robots.txt: die Regeln für das Crawling

Robots.txt ist eine Textdatei im Stammverzeichnis der Website (ihreseite.de/robots.txt), die den Bots der Suchmaschinen Anweisungen gibt: welche Bereiche durchsucht werden sollen, welche nicht. Sie dient vor allem dazu:

• zu verhindern, dass Bots Crawling-Zeit auf Seiten ohne SEO-Wert verschwenden (Warenkorb, Benutzerkonto, interne Suchseiten);
• den Standort der Sitemap anzugeben (Zeile Sitemap: am Ende der Datei);
• in seltenen Fällen das Crawling einer Website in der Entwicklungsphase vollständig zu blockieren.

Ein häufig missverstandener Punkt: robots.txt blockiert das Crawling, nicht die Indexierung. Eine Seite, deren Crawling untersagt ist, kann trotzdem in den Google-Ergebnissen erscheinen, ohne Titel oder Beschreibung, wenn sie von einer anderen Seite im Web verlinkt wird. Um eine Seite tatsächlich aus den Suchergebnissen zu entfernen, ist die richtige Methode das Tag <meta name="robots" content="noindex"> direkt im Code der Seite, nicht eine Sperre in der robots.txt.

Die häufigsten Fehler

Eine robots.txt, die versehentlich die gesamte Website blockiert

Dies ist der teuerste Fehler. Er tritt typischerweise nach einer Migration auf: Die Entwicklungsseite enthielt die Zeile Disallow: /, um zu verhindern, dass Google eine Testversion indexiert, und diese Zeile wurde beim Übergang in die Produktion nicht entfernt. Ergebnis: Die gesamte Website verschwindet nach und nach aus den Suchergebnissen, oft ohne dass jemand die Ursache sofort bemerkt.

Eine Sitemap, die nie bei der Google Search Console eingereicht wurde

Die Datei existiert und ist korrekt, aber niemand hat sie Google gemeldet. Ohne explizite Einreichung entdeckt Google sie in der Regel irgendwann von selbst, allerdings mit einer zusätzlichen Verzögerung, die sich mit wenigen Klicks vermeiden ließe.

Eine Sitemap mit veralteten oder fehlerhaften URLs

Nach einer Neugestaltung oder dem Löschen von Seiten listet die Sitemap manchmal weiterhin URLs auf, die einen 404-Fehler liefern. Das schadet dem Ranking der übrigen Seiten nicht direkt, erschwert aber Googles Arbeit und kann die Indexierung neuer Seiten verzögern.

Noindex und Disallow verwechseln

Eine Seite über robots.txt zu blockieren, in der Annahme, sie damit aus den Suchergebnissen zu entfernen, funktioniert aus dem oben genannten Grund nicht zuverlässig. Es ist eine klassische technische Verwechslung, durch die unerwünschte Seiten bei Google sichtbar bleiben.

Sonderfall: mehrsprachige Websites und E-Commerce-Websites

Bei einer Website, die in mehreren Sprachen verfügbar ist, sollte jede Sprachversion mit den zugehörigen hreflang-Tags in der Sitemap erscheinen, damit Google versteht, welche Version je nach Sprache und Land des Besuchers ausgespielt werden soll. Eine Sitemap, die nur eine Sprache auflistet oder diese Tags weglässt, kann dazu führen, dass Google die falsche Sprachversion in den Ergebnissen anzeigt oder bestimmte übersetzte Seiten ignoriert, weil sie nicht eindeutig als eigenständig gekennzeichnet wurden.

Bei einer E-Commerce-Website stellt die schiere Menge an Seiten (Produktseiten, Varianten, Kategorien, Filterseiten) eine andere Herausforderung dar: Eine einzelne Sitemap wird schnell zu umfangreich und lässt sich manuell kaum aktuell halten. Üblich ist es, mehrere segmentierte Sitemaps zu erzeugen (Produkte, Kategorien, redaktionelle Inhalte), die über eine "Sitemap-Index"-Datei miteinander verknüpft sind — die meisten E-Commerce-Plattformen (Shopify, WooCommerce, individuelle Lösungen) erzeugen diese automatisch.

Wie man einen erkannten Fehler schnell behebt

Sobald ein Problem mit robots.txt oder der Sitemap in der Search Console identifiziert wurde, ist die eigentliche Korrektur in der Regel schnell erledigt:

• Bei einer robots.txt, die zu viele Inhalte blockiert, genügt es, die betreffende Disallow-Zeile zu entfernen oder anzupassen und anschließend mit dem in die Search Console integrierten robots.txt-Testtool zu prüfen;
• bei einer Sitemap mit fehlerhaften URLs muss deren Ursache identifiziert werden (gelöschte Seiten, falsch konfigurierte Weiterleitungen) und die Datei neu erzeugt werden, was bei den meisten CMS automatisch geschieht, sobald der Ursprungsinhalt korrigiert ist;
• fordern Sie nach jeder Korrektur in der Search Console erneut ein Crawling an, statt auf den natürlichen Durchlauf der Bots zu warten — das verkürzt die Berücksichtigung in den meisten Fällen von mehreren Tagen auf wenige Stunden.

Schnelle Checkliste zur Überprüfung

Was man sich merken sollte

• Die Sitemap erleichtert Google das Auffinden der Seiten; die robots.txt regelt das Crawling der Website.
• Robots.txt entfernt keine Seite aus den Suchergebnissen: Das ist die Aufgabe des noindex-Tags.
• Der teuerste Fehler ist eine robots.txt, die nach einer nicht sauber abgeschlossenen Migration die gesamte Website blockiert.
• Ein modernes CMS erzeugt beide Dateien automatisch; die Arbeit besteht vor allem darin, ihren Inhalt zu prüfen, nicht sie von Hand zu schreiben.
• Mit der Google Search Console lässt sich in wenigen Minuten prüfen, ob diese Dateien korrekt berücksichtigt werden.

Häufig gestellte Fragen

Kann eine Website ohne Sitemap trotzdem von Google indexiert werden? Ja, Google kann Seiten über interne Links entdecken, auch ohne Sitemap. Bei einer Website mit mehreren Dutzend Seiten oder einer wenig verlinkten Struktur beschleunigt und verbessert die Sitemap jedoch diese Entdeckung. Für E-Commerce oder Websites mit häufigen neuen Inhalten wird sie fast unverzichtbar.

Sollte man unnötige Seiten mit robots.txt blockieren? Robots.txt verhindert das Crawling, nicht die Indexierung: Eine blockierte Seite kann trotzdem ohne Beschreibung bei Google erscheinen, wenn sie anderswo verlinkt ist. Um eine Seite tatsächlich aus den Ergebnissen zu entfernen, sollten Sie stattdessen das noindex-Meta-Tag direkt auf der Seite verwenden.

Wie erkenne ich, ob meine Sitemap von Google korrekt berücksichtigt wird? Fügen Sie in der Google Search Console im Bereich Sitemaps die URL Ihrer Sitemap hinzu und prüfen Sie den Status. Google zeigt die Anzahl der entdeckten Seiten sowie separat die Anzahl der tatsächlich indexierten Seiten an: Beide Zahlen stimmen nicht immer überein.

Muss die Sitemap zwingend alle Seiten der Website enthalten? Nein, nur die Seiten, die Sie indexiert sehen möchten: Inhaltsseiten, Produkte, Kategorien. Technische Seiten (Login, Warenkorb, generische Impressumsseiten) haben in der Sitemap nichts zu suchen.

Zusammenfassung

Sitemap und robots.txt sind auf den ersten Blick unscheinbare technische Dateien, doch ein Konfigurationsfehler kann die Indexierung einer gesamten Website blockieren, ohne dass ein einziges sichtbares Signal darauf hinweist. Eine kurze Prüfung in der Google Search Console reicht aus, um dieses Risiko auszuschließen. Bei VeryAppi enthält jede im Abonnement gelieferte Website ab dem Zeitpunkt des Livegangs eine automatisch erzeugte Sitemap und eine korrekt konfigurierte robots.txt.