Ik heb gegevens die erop wijzen dat Shopify niet consistent (of helemaal niet) een robots.txt-bestand aanbiedt sinds ten minste 4 januari (en het lijkt erop dat het zojuist is opgelost vandaag, 5 uur GMT 15 januari).
De afbeelding hierboven laat zien hoe 690,000 URL's van geblokkeerd naar crawlbaar gingen op 4 januari, en ik heb dit probleem vandaag geverifieerd in robots.txt-bestanden van meerdere sites, die allemaal HTML-code weergeven voor een 404-pagina in het bestand zelf in plaats van de gebruikelijke robots.txt-regels.
Er zijn ook talloze voorbeelden in GSC van het laatst geregistreerde robots.txt-bestand dat werd gecrawld op 4 januari.
Zeker een om op te letten voor het geval het opnieuw gebeurt / nog niet volledig is opgelost - plaats andere tags als beveiliging.
Een voorbeeld van hoe dit tot grote indexeringsproblemen kan leiden:
Een winkel die zijn filterpagina's niet heeft geconfigureerd op noindex, heeft nu opeens filtercombinaties die kunnen worden geïndexeerd (voorheen geblokkeerd door de "+" in het robots.txt-bestand), waardoor het aantal indexeerbare pagina's exponentieel zou kunnen toenemen.
Hier is een afbeelding die laat zien wat aan Google is getoond in het robots.txt-bestand (de 404-pagina html):
Ik zou graag willen zien of iemand anders deze grote drops in geblokkeerde pagina's in GSC ziet (ik heb er tot nu toe ongeveer 10 gecontroleerd en bijna allemaal hebben ze vergelijkbare drops).
English
Dutch
French
German
Greek
Italian
Luxembourgish
Norwegian
Portuguese
Russian
Spanish
Swedish