shopify grote downtime van robots.txt-bestanden

Ik heb gegevens die erop wijzen dat Shopify niet consistent (of helemaal niet) een robots.txt-bestand aanbiedt sinds ten minste 4 januari (en het lijkt erop dat het zojuist is opgelost vandaag, 5 uur GMT 15 januari).

De afbeelding hierboven laat zien hoe 690,000 URL's van geblokkeerd naar crawlbaar gingen op 4 januari, en ik heb dit probleem vandaag geverifieerd in robots.txt-bestanden van meerdere sites, die allemaal HTML-code weergeven voor een 404-pagina in het bestand zelf in plaats van de gebruikelijke robots.txt-regels.

Er zijn ook talloze voorbeelden in GSC van het laatst geregistreerde robots.txt-bestand dat werd gecrawld op 4 januari.

Zeker een om op te letten voor het geval het opnieuw gebeurt / nog niet volledig is opgelost - plaats andere tags als beveiliging.

Een voorbeeld van hoe dit tot grote indexeringsproblemen kan leiden:

Een winkel die zijn filterpagina's niet heeft geconfigureerd op noindex, heeft nu opeens filtercombinaties die kunnen worden geïndexeerd (voorheen geblokkeerd door de "+" in het robots.txt-bestand), waardoor het aantal indexeerbare pagina's exponentieel zou kunnen toenemen.

Hier is een afbeelding die laat zien wat aan Google is getoond in het robots.txt-bestand (de 404-pagina html):

shopify robots txt 404 voorbeeld

Ik zou graag willen zien of iemand anders deze grote drops in geblokkeerde pagina's in GSC ziet (ik heb er tot nu toe ongeveer 10 gecontroleerd en bijna allemaal hebben ze vergelijkbare drops).

Hoe nuttig was dit bericht?

Klik op een ster om deze te beoordelen!

Gemiddelde score 5 / 5. Aantal stemmen: 3

Geen stemmen tot nu toe! Wees de eerste om dit bericht te beoordelen.

Het spijt ons dat dit bericht niet nuttig was voor jou!

Laten we dit bericht verbeteren!

Vertel ons hoe we dit bericht kunnen verbeteren?

Matt Jackson

E-commerce SEO-specialist, met meer dan 8 jaar fulltime ervaring in het analyseren en repareren van websites voor online winkelen. Praktische ervaring met Shopify, Wordpress, Opencart, Magento en andere CMS.
Hulp nodig? E-mail mij voor meer info op info@matt-jackson.com

Dit bericht heeft 0 reacties

Laat een reactie achter

Je e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd *