Ich habe Daten, die darauf hindeuten, dass Shopify seit mindestens dem 4. Januar keine robots.txt-Datei mehr konsistent (wenn überhaupt) bereitstellt (und anscheinend erst heute, 5 Uhr GMT, 15. Januar, repariert wurde).
Das obige Bild zeigt, wie 690,000 URLs am 4. Januar von blockiert zu crawlbar wurden. Ich habe dieses Problem heute auf mehreren Websites überprüft: robots.txt-Dateien, wobei alle HTML-Code für eine 404-Seite in der Datei selbst anzeigen die üblichen robots.txt Regeln.
Es gibt auch zahlreiche Beispiele in GSC für die zuletzt aufgezeichnete robots.txt-Datei, die am 4. Januar gecrawlt wurde.
Auf jeden Fall eine, auf die Sie achten sollten, falls es erneut passiert / die noch nicht vollständig behoben ist - setzen Sie zum Schutz andere Tags ein.
Ein Beispiel dafür, wie dies zu größeren Indexierungsproblemen führen könnte:
In einem Geschäft, das seine Filterseiten nicht für noindex konfiguriert hat, sind jetzt plötzlich Filterkombinationen indizierbar (zuvor durch das „+“ in der robots.txt-Datei blockiert), wodurch die Anzahl der indizierbaren Seiten exponentiell erhöht werden kann.
Hier ist ein Bild, das zeigt, was Google in der robots.txt-Datei (die 404-Seiten-HTML) angezeigt wurde:
Es würde mich interessieren, ob jemand anderes diese großen Tropfen auf blockierten Seiten in GSC sieht (ich habe bisher ungefähr 10 überprüft und fast alle haben ähnliche Tropfen).
English
Dutch
French
German
Greek
Italian
Luxembourgish
Norwegian
Portuguese
Russian
Spanish
Swedish