
Ich habe Daten, die darauf hindeuten, dass Shopify seit mindestens dem 4. Januar keine robots.txt-Datei mehr konsistent (wenn überhaupt) bereitstellt (und anscheinend erst heute, 5 Uhr GMT, 15. Januar, repariert wurde).
Das obige Bild zeigt, wie 690,000 URLs am 4. Januar von blockiert zu crawlbar wurden. Ich habe dieses Problem heute auf mehreren Websites überprüft: robots.txt-Dateien, wobei alle HTML-Code für eine 404-Seite in der Datei selbst anzeigen die üblichen robots.txt Regeln.
Es gibt auch zahlreiche Beispiele in GSC für die zuletzt aufgezeichnete robots.txt-Datei, die am 4. Januar gecrawlt wurde.
Auf jeden Fall eine, auf die Sie achten sollten, falls es erneut passiert / die noch nicht vollständig behoben ist - setzen Sie zum Schutz andere Tags ein.
Ein Beispiel dafür, wie dies zu größeren Indexierungsproblemen führen könnte:
In einem Geschäft, das seine Filterseiten nicht für noindex konfiguriert hat, sind jetzt plötzlich Filterkombinationen indizierbar (zuvor durch das „+“ in der robots.txt-Datei blockiert), wodurch die Anzahl der indizierbaren Seiten exponentiell erhöht werden kann.
Hier ist ein Bild, das zeigt, was Google in der robots.txt-Datei (die 404-Seiten-HTML) angezeigt wurde:
Es würde mich interessieren, ob jemand anderes diese großen Tropfen auf blockierten Seiten in GSC sieht (ich habe bisher ungefähr 10 überprüft und fast alle haben ähnliche Tropfen).