shopify större robots.txt-filstopp

Jag har data som tyder på att Shopify inte har serverat en robots.txt-fil konsekvent (om alls) sedan minst 4 januari (och ser ut att ha just rättats idag, 5:15 GMT XNUMX januari).

Bilden ovan visar hur 690,000 4 webbadresser gick från blockerad till genomsökbar den 404 januari, och jag har verifierat problemet idag på flera webbplatser robots.txt-filer, där alla visar HTML-kod för en XNUMX-sida i själva filen istället för de vanliga robots.txt-reglerna.

Det finns också många exempel i GSC på att den senast inspelade robots.txt-filen genomsöktes den 4 januari.

Definitivt en att se upp för om det händer igen / inte är ordentligt fixat än - sätt andra taggar på plats som skydd.

Ett exempel på hur detta kan leda till stora indexeringsproblem:

En butik som inte har konfigurerat sina filtersidor till noindex har nu plötsligt filterkombinationer som kan indexeras (tidigare blockerats av "+" i robots.txt-filen), vilket exponentiellt kan öka antalet indexerbara sidor.

Här är en bild som visar vad som har visats för Google i robots.txt-filen (404-sidans html):

shopify robotar txt 404 exempel

Jag skulle vara intresserad av att se om någon annan ser dessa stora droppar i blockerade sidor i GSC (jag har hittills kollat ​​cirka 10 och nästan alla har liknande droppar).

Hur användbart var det här inlägget?

Klicka på en stjärna för att betygsätta det!

Medelbetyg 5 / 5. Röstaantal: 3

Inga röster hittills! Bli den första att betygsätta detta inlägg.

Vi beklagar att det här inlägget inte var användbart för dig!

Låt oss förbättra detta inlägg!

Berätta för oss hur vi kan förbättra det här inlägget?

matt Jackson

E-handel SEO-specialist, med över 8 års heltidserfarenhet att analysera och fixa webbplatser för online shopping. Praktisk erfarenhet av Shopify, Wordpress, Opencart, Magento och andra CMS.
Behövs hjälp? Mejla mig för mer info på info@matt-jackson.com

Det här inlägget har 0 kommentarer

Lämna ett svar

E-postadressen publiceras inte. Obligatoriska fält är markerade *