Ausfallzeiten der robots.txt-Datei einkaufen

Ich habe Daten, die darauf hindeuten, dass Shopify seit mindestens dem 4. Januar keine robots.txt-Datei mehr konsistent (wenn überhaupt) bereitstellt (und anscheinend erst heute, 5 Uhr GMT, 15. Januar, repariert wurde).

Das obige Bild zeigt, wie 690,000 URLs am 4. Januar von blockiert zu crawlbar wurden. Ich habe dieses Problem heute auf mehreren Websites überprüft: robots.txt-Dateien, wobei alle HTML-Code für eine 404-Seite in der Datei selbst anzeigen die üblichen robots.txt Regeln.

Es gibt auch zahlreiche Beispiele in GSC für die zuletzt aufgezeichnete robots.txt-Datei, die am 4. Januar gecrawlt wurde.

Auf jeden Fall eine, auf die Sie achten sollten, falls es erneut passiert / die noch nicht vollständig behoben ist - setzen Sie zum Schutz andere Tags ein.

Ein Beispiel dafür, wie dies zu größeren Indexierungsproblemen führen könnte:

In einem Geschäft, das seine Filterseiten nicht für noindex konfiguriert hat, sind jetzt plötzlich Filterkombinationen indizierbar (zuvor durch das „+“ in der robots.txt-Datei blockiert), wodurch die Anzahl der indizierbaren Seiten exponentiell erhöht werden kann.

Hier ist ein Bild, das zeigt, was Google in der robots.txt-Datei (die 404-Seiten-HTML) angezeigt wurde:

shopify robots txt 404 beispiel

Es würde mich interessieren, ob jemand anderes diese großen Tropfen auf blockierten Seiten in GSC sieht (ich habe bisher ungefähr 10 überprüft und fast alle haben ähnliche Tropfen).

Wie nützlich war dieser Beitrag?

Klicken Sie auf einen Stern, um ihn zu bewerten!

Durchschnittliche Bewertung 5 / 5. Stimmenanzahl: 3

Bisher keine Stimmen! Sei der Erste, der diesen Beitrag bewertet.

Es tut uns leid, dass dieser Beitrag für Sie nicht hilfreich war!

Lasst uns diesen Beitrag verbessern!

Sagen Sie uns, wie wir diesen Beitrag verbessern können?

Matt Jackson

E-Commerce-SEO-Spezialist mit über 8 Jahren Erfahrung in der Analyse und Korrektur von Online-Shopping-Websites. Praktische Erfahrung mit Shopify, Wordpress, Opencart, Magento und anderen CMS.
Brauchen Sie Hilfe? Senden Sie mir eine E-Mail für weitere Informationen an info@matt-jackson.com

Dieser Beitrag enthält 0-Kommentare

Hinterlasse einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Pflichtfelder sind MIT * gekennzeichnet