Jag har data som tyder på att Shopify inte har serverat en robots.txt-fil konsekvent (om alls) sedan minst 4 januari (och ser ut att ha just rättats idag, 5:15 GMT XNUMX januari).
Bilden ovan visar hur 690,000 4 webbadresser gick från blockerad till genomsökbar den 404 januari, och jag har verifierat problemet idag på flera webbplatser robots.txt-filer, där alla visar HTML-kod för en XNUMX-sida i själva filen istället för de vanliga robots.txt-reglerna.
Det finns också många exempel i GSC på att den senast inspelade robots.txt-filen genomsöktes den 4 januari.
Definitivt en att se upp för om det händer igen / inte är ordentligt fixat än - sätt andra taggar på plats som skydd.
Ett exempel på hur detta kan leda till stora indexeringsproblem:
En butik som inte har konfigurerat sina filtersidor till noindex har nu plötsligt filterkombinationer som kan indexeras (tidigare blockerats av "+" i robots.txt-filen), vilket exponentiellt kan öka antalet indexerbara sidor.
Här är en bild som visar vad som har visats för Google i robots.txt-filen (404-sidans html):
Jag skulle vara intresserad av att se om någon annan ser dessa stora droppar i blockerade sidor i GSC (jag har hittills kollat cirka 10 och nästan alla har liknande droppar).
English
Dutch
French
German
Greek
Italian
Luxembourgish
Norwegian
Portuguese
Russian
Spanish
Swedish