noindex und robots.txt: Crawling und Indexierung sauber trennen

Kurz zusammengefasst

• robots.txt steuert, ob Suchmaschinen eine Seite abrufen dürfen (Crawling). noindex steuert, ob sie in den Index aufgenommen wird (Indexierung).
• Eine per robots.txt gesperrte Seite kann trotzdem in den Suchergebnissen auftauchen, wenn andere Seiten sie verlinken.
• Damit Google ein noindex überhaupt sieht, darf die Seite nicht per robots.txt gesperrt sein.
• Nach einem Relaunch sind vergessene Sperren aus der Testphase eine häufige Ursache für Seiten, die aus Google verschwinden.

Crawling und Indexierung sind zwei Schritte

Eine Suchmaschine arbeitet in Schritten. Zuerst ruft ein Programm, der Crawler, Seiten ab. Danach entscheidet die Suchmaschine, ob eine Seite in den Index kommt, aus dem die Suchergebnisse zusammengestellt werden. Die robots.txt wirkt beim ersten Schritt, noindex beim zweiten. Wer diese Trennung im Kopf hat, versteht die meisten Probleme.

Die robots.txt: Regeln fürs Abrufen

Die robots.txt ist eine einfache Textdatei im Hauptverzeichnis einer Website. Ihre Adresse lautet deshalb immer Domain plus /robots.txt. Sie enthält Regeln, welche Crawler (User-agent) welche Pfade nicht abrufen sollen (Disallow). Ein kleines Beispiel:

• User-agent: *
• Disallow: /intern/
• Sitemap: https://www.beispiel.de/sitemap.xml

Die Datei ist eine Bitte an Crawler und kein Schloss. Seriöse Suchmaschinen halten sich daran, aber jeder kann die Datei lesen, auch Personen mit weniger guten Absichten. Vertrauliches gehört deshalb hinter ein Passwort und nicht in die robots.txt. Eine Liste gesperrter Ordner verrät sogar, wo etwas liegt.

Disallow: / sperrt die gesamte Website

Die Zeile Disallow: / mit einem Schrägstrich verbietet Crawlern den Abruf der gesamten Website. Bei einer Testversion ist das gewollt, auf der Live-Seite wäre es verheerend. Ein einziges Zeichen entscheidet: „Disallow:“ ohne Angabe dahinter erlaubt alles, „Disallow: /“ sperrt alles.

Der Fehler entsteht meist beim Livegang, wenn die Datei aus der Testumgebung mitkopiert wird. Die Folgen: Neue Seiten werden nicht mehr abgerufen. Bestehende Seiten können in den Ergebnissen weiter auftauchen, dann aber ohne Beschreibung und mit dem Hinweis, dass keine Informationen verfügbar sind. Für Besucher sieht die Website unverändert aus, deshalb fällt das Problem zunächst niemandem auf.

noindex: Seite abrufen, aber nicht aufnehmen

Die Angabe noindex steht auf der Seite selbst, meist als meta-Element im Kopfbereich, zum Beispiel <meta name="robots" content="noindex">. Google ruft die Seite ab, liest die Angabe und nimmt die Seite nicht in den Index auf, oder entfernt sie wieder, wenn sie schon darin war. Das passt für Seiten, die erreichbar bleiben, aber in der Suche nichts verloren haben: die Dankeseite nach einer Terminanfrage in einer Praxis, die Bestätigung nach einer Gutscheinbestellung im Restaurant, Ergebnisseiten der Suchfunktion auf der eigenen Website oder Druckansichten.

Wichtig ist die Reihenfolge der Dinge: Damit Google noindex sehen kann, muss es die Seite abrufen dürfen. Ist eine Seite per robots.txt gesperrt und trägt zusätzlich noindex, kann Google das noindex nicht lesen. Die Adresse kann dann trotzdem in den Ergebnissen stehen, wenn andere Seiten sie verlinken. Soll eine Seite aus der Suche verschwinden, entfernen Sie also die Sperre aus der robots.txt und setzen noindex. Ob eine Sperre danach noch nötig ist, überlegen Sie erst, wenn die Seite aus den Ergebnissen verschwunden ist.

X-Robots-Tag für Dateien und ganze Bereiche

Nicht alles ist eine HTML-Seite. Eine PDF-Datei mit der Preisliste hat keinen Kopfbereich, in den ein meta-Element passt. Für solche Fälle kann der Server im Antwortkopf eine Angabe mitschicken: X-Robots-Tag: noindex. Sie wirkt wie die Angabe im Quelltext, lässt sich aber auf Dateitypen oder ganze Ordner anwenden. Eingerichtet wird sie in der Konfiguration des Servers, meist beim Hoster.

Der Haken: Im Quelltext der Seite sieht man diese Angabe nicht. Wer wissen will, ob sie gesetzt ist, öffnet im Browser die Entwicklerwerkzeuge, meist mit der Taste F12, und sieht sich im Reiter „Netzwerk“ den Antwortkopf der Datei an.

Der Klassiker: noindex nach dem Relaunch vergessen

Das Szenario ist immer ähnlich. Die neue Website wird auf einer Testadresse gebaut. Damit Google sie nicht schon vorab findet, ist sie gesperrt, etwa durch Disallow: / in der robots.txt, durch ein noindex im Quelltext oder in WordPress durch den Haken „Suchmaschinen davon abhalten, diese Website zu indexieren“ unter Einstellungen, Lesen. Beim Livegang wird die Seite auf die richtige Domain übertragen, die Sperre aber nicht entfernt. Die Seite sieht normal aus, Besucher bemerken nichts. Erst Wochen später fällt auf, dass sich ein Handwerksbetrieb nicht mehr unter dem eigenen Firmennamen findet oder eine Praxis keine Anfragen über die Suche mehr bekommt.

Eine kurze Liste für den Tag des Livegangs schützt davor:

• Die robots.txt aufrufen und nach „Disallow: /“ ohne weiteren Pfad suchen.
• Den Quelltext der Startseite und einer Unterseite nach „noindex“ durchsuchen.
• Im Redaktionssystem die Einstellung zur Sichtbarkeit für Suchmaschinen prüfen.
• In der Search Console die URL-Prüfung für die Startseite aufrufen, sie zeigt, ob die Seite indexiert werden darf.
• Testseiten künftig zusätzlich mit einem Passwortschutz sichern. Ein vergessener Passwortschutz fällt sofort auf, ein vergessenes noindex nicht.

Nach der Korrektur: Geduld

Ist die Sperre entfernt, braucht Google Zeit, die Seiten erneut abzurufen und aufzunehmen. In der Search Console können Sie die Prüfung einzelner Seiten anstoßen und die Sitemap erneut einreichen. Wann die Seiten wieder erscheinen und an welcher Stelle, kann niemand zusagen. Wichtig ist nur, dass die Sperre nicht länger besteht als nötig.

Prüfen Sie Ihre Seite

Der kostenlose SEO-Check sucht auf der eingegebenen Seite nach noindex, und zwar im meta-Element robots, im meta-Element googlebot und im X-Robots-Tag des Antwortkopfs. Zusätzlich ruft er die robots.txt der Domain ab. Ein „Disallow: /“ für alle Crawler (User-agent: *) meldet er als Problem, und er zeigt, ob die Datei auf eine Sitemap verweist. Sperren einzelner Ordner oder einzelner Crawler wertet er nicht aus. Ob Google die Seite tatsächlich im Index führt, zeigt nur die Search Console. Der Check arbeitet ohne Anmeldung und speichert die Adresse nicht.

Mehr zu den technischen Grundlagen einer Website, die in der Suche gefunden werden soll, steht auf der Seite SEO von Bemuar Technology.