shopify principaux temps d'arrêt des fichiers robots.txt

J'ai des données suggérant que Shopify n'a pas servi de fichier robots.txt de manière cohérente (voire pas du tout) depuis au moins le 4 janvier (et semble avoir été corrigé aujourd'hui, 5 heures GMT le 15 janvier).

L'image ci-dessus montre comment 690,000 URL sont passées de bloquées à explorables le 4 janvier, et j'ai vérifié ce problème aujourd'hui sur plusieurs fichiers robots.txt de sites, tous affichant le code HTML d'une page 404 dans le fichier lui-même au lieu de les règles habituelles du fichier robots.txt.

Il existe également de nombreux exemples dans GSC du dernier fichier robots.txt enregistré le 4 janvier.

Certainement à surveiller au cas où cela se reproduirait / ne serait pas encore entièrement corrigé - mettez d'autres balises en place comme mesure de sauvegarde.

Un exemple de la façon dont cela pourrait conduire à des problèmes d'indexation majeurs:

Un magasin qui n'a pas configuré ses pages de filtre sur noindex, a maintenant soudainement des combinaisons de filtres indexables (auparavant bloquées par le «+» dans le fichier robots.txt), ce qui pourrait augmenter de façon exponentielle le nombre de pages indexables.

Voici une image montrant ce qui a été montré à Google dans le fichier robots.txt (la page 404 html):

Exemple de txt 404 pour les robots shopify

Je serais intéressé de voir si quelqu'un d'autre voit ces grandes baisses dans les pages bloquées dans GSC (j'en ai vérifié environ 10 jusqu'à présent et presque toutes ont des baisses similaires).

VOTEZ POUR COLIN

Cliquez sur un nombre d'étoile pour le noter !

Note moyenne 5 / 5. Nombre de votes: 3

Aucun vote jusqu'à présent ! Soyez le premier à noter ce post.

Nous sommes désolés que ce post ne vous ait pas été utile!

Laissez-nous améliorer ce post!

Dites-nous comment nous pouvons améliorer ce post?

Matt Jackson

Spécialiste du référencement en commerce électronique, avec plus de 8 ans d'expérience à temps plein dans l'analyse et la réparation de sites Web d'achat en ligne. Expérience pratique avec Shopify, Wordpress, Opencart, Magento et autres CMS.
Besoin d'aide? Envoyez-moi pour plus d'informations, à info@matt-jackson.com

Ce poste 0 Publier les commentaires

Laissez un commentaire

Votre adresse email n'apparaitra pas. Les champs obligatoires sont marqués *