J'ai des données suggérant que Shopify n'a pas servi de fichier robots.txt de manière cohérente (voire pas du tout) depuis au moins le 4 janvier (et semble avoir été corrigé aujourd'hui, 5 heures GMT le 15 janvier).
L'image ci-dessus montre comment 690,000 URL sont passées de bloquées à explorables le 4 janvier, et j'ai vérifié ce problème aujourd'hui sur plusieurs fichiers robots.txt de sites, tous affichant le code HTML d'une page 404 dans le fichier lui-même au lieu de les règles habituelles du fichier robots.txt.
Il existe également de nombreux exemples dans GSC du dernier fichier robots.txt enregistré le 4 janvier.
Certainement à surveiller au cas où cela se reproduirait / ne serait pas encore entièrement corrigé - mettez d'autres balises en place comme mesure de sauvegarde.
Un exemple de la façon dont cela pourrait conduire à des problèmes d'indexation majeurs:
Un magasin qui n'a pas configuré ses pages de filtre sur noindex, a maintenant soudainement des combinaisons de filtres indexables (auparavant bloquées par le «+» dans le fichier robots.txt), ce qui pourrait augmenter de façon exponentielle le nombre de pages indexables.
Voici une image montrant ce qui a été montré à Google dans le fichier robots.txt (la page 404 html):
Je serais intéressé de voir si quelqu'un d'autre voit ces grandes baisses dans les pages bloquées dans GSC (j'en ai vérifié environ 10 jusqu'à présent et presque toutes ont des baisses similaires).
English
Dutch
French
German
Greek
Italian
Luxembourgish
Norwegian
Portuguese
Russian
Spanish
Swedish