robots.txt wordpress

WordPress robots.txt: Bestes Praxis Beispiel für SEO

Ihre robots.txt-Datei ist ein leistungsstarkes Tool, wenn Sie an der SEO einer Website arbeiten. Sie sollte jedoch mit Vorsicht behandelt werden. Sie können Suchmaschinen den Zugriff auf verschiedene Dateien und Ordner verweigern. Oft ist dies jedoch nicht der beste Weg, um Ihre Website zu optimieren. Hier erklären wir, wie Webmaster ihre robots.txt-Datei verwenden sollten, und schlagen einen für die meisten Websites geeigneten „Best Practice“ -Ansatz vor.

Weiter unten auf dieser Seite finden Sie ein Beispiel für robots.txt, das für die meisten WordPress-Websites funktioniert.

Wie sieht „best practice“ aus?

Suchmaschinen verbessern ständig die Art und Weise, in der sie das Web crawlen und Inhalte indizieren. Das bedeutet, dass das, was vor einigen Jahren als Best Practice galt, nicht mehr funktioniert oder Ihrer Website sogar schaden kann.

Heutzutage bedeutet Best Practice, sich so wenig wie möglich auf Ihre robots.txt-Datei zu verlassen. Tatsächlich ist es nur dann wirklich notwendig, URLs in Ihrer robots.txt-Datei zu blockieren, wenn Sie komplexe technische Herausforderungen haben (z. B. eine große eCommerce-Website mit facettierter Navigation) oder wenn es keine andere Option gibt.

Das Blockieren von URLs über robots.txt ist ein „Brute Force“ -Ansatz und kann mehr Probleme verursachen, als es löst.

Was macht dieser Code?

Die Anweisung User-agent: * besagt, dass alle folgenden Anweisungen für alle Crawler gelten.
Da wir keine weiteren Anweisungen geben, sagen wir, dass „alle Crawler diese Site ohne Einschränkung frei crawlen können“.
Wir stellen auch einige Informationen für Personen bereit, die sich die Datei ansehen (Link zu dieser Seite), damit sie verstehen, warum die Datei „leer“ ist.

Wenn Sie URLs nicht zulassen müssen

Wenn Sie verhindern möchten, dass Suchmaschinen bestimmte Teile Ihrer WordPress-Site crawlen oder indizieren, ist es fast immer besser, Meta-Robots-Tags oder Robots-HTTP-Header hinzuzufügen.

Wenn Ihre Website Crawler- oder Indexierungsprobleme aufweist, die nicht über Meta-Robots-Tags oder HTTP-Header behoben werden können, oder wenn Sie den Crawlerzugriff aus anderen Gründen verhindern müssen, lesen Sie unsere ultimative Anleitung zu robots.txt.

Beachten Sie, dass WordPress und Yoast SEO die Indizierung einiger sensibler Dateien und URLs, wie Ihres WordPress-Administrationsbereichs (über einen x-robots-HTTP-Header), bereits automatisch verhindern.

Warum ist dieser „Minimalismus“ die beste Praxis?

Robots.txt schafft Sackgassen

Bevor Sie in den Suchergebnissen nach Sichtbarkeit suchen können, müssen Suchmaschinen Ihre Seiten ermitteln, crawlen und indizieren. Wenn Sie bestimmte URLs über robots.txt blockiert haben, können Suchmaschinen diese Seiten nicht mehr durchsuchen, um andere zu finden. Dies kann bedeuten, dass wichtige Seiten nicht entdeckt werden.

Robots.txt verweigert Links ihren Wert

Eine der Grundregeln von SEO ist, dass Links von anderen Seiten Ihre Leistung beeinflussen können. Wenn eine URL blockiert ist, werden sie nicht nur von Suchmaschinen gecrawlt, sondern möglicherweise auch nicht an andere Seiten der Website weitergeleitet, die auf diese URL oder über diese URL verweisen.

Google rendert Ihre Website vollständig

Früher wurde der Zugriff auf CSS- und JavaScript-Dateien blockiert, um die Suchmaschinen auf diese wichtigen Inhaltsseiten zu konzentrieren.

Heutzutage ruft Google Ihr gesamtes Styling und JavaScript ab und rendert Ihre Seiten vollständig. Das Verständnis des Layouts und der Präsentation Ihrer Seite ist ein wesentlicher Bestandteil der Bewertung der Qualität. Daher gefällt es Google überhaupt nicht, wenn Sie den Zugriff auf Ihre CSS- oder JavaScript-Dateien verweigern.

Die bisherige bewährte Methode zum Blockieren des Zugriffs auf Ihr WP-Includes-Verzeichnis und Ihr Plugins-Verzeichnis über robots.txt ist nicht mehr gültig. Aus diesem Grund haben wir in Zusammenarbeit mit WordPress die standardmäßige Verbotsregel für WP-Includes in Version 4.0 entfernt.

Viele WordPress-Themes verwenden auch asynchrone JavaScript-Anforderungen – sogenanntes AJAX -, um Webseiten Inhalt hinzuzufügen. WordPress hat Google standardmäßig davon abgehalten, aber das haben wir in WordPress 4.4 behoben.

Sie müssen (normalerweise) keinen Link zu Ihrer Sitemap erstellen

Der robots.txt-Standard unterstützt das Hinzufügen eines Links zu Ihren XML-Sitemap (s) zur Datei. Auf diese Weise können Suchmaschinen den Standort und den Inhalt Ihrer Website ermitteln.

Wir hatten immer das Gefühl, dass dies überflüssig ist. Sie sollten Ihre Sitemap bereits zu Ihren Google Search Console– und Bing Webmaster Tools-Konten hinzufügen, um auf Analyse- und Leistungsdaten zuzugreifen. Wenn Sie dies getan haben, benötigen Sie den Verweis in Ihrer robots.txt-Datei nicht

This post first appeared in English on yoast.com at: https://yoast.com/wordpress-robots-txt-example/