Έχω δεδομένα για να υποδείξω ότι το Shopify δεν εξυπηρετούσε ένα αρχείο robots.txt με συνέπεια (αν όχι καθόλου) από τουλάχιστον 4 Ιανουαρίου (και φαίνεται να έχει διορθωθεί σήμερα, 5 μ.μ. GMT 15 Ιανουαρίου).
Η παραπάνω εικόνα δείχνει τον τρόπο με τον οποίο 690,000 διευθύνσεις URL μπλοκαρίστηκαν σε ανιχνεύσιμη στις 4 Ιανουαρίου και έχω επαληθεύσει αυτό το ζήτημα σήμερα σε πολλά αρχεία robots.txt ιστότοπων, με όλα να εμφανίζουν κώδικα HTML για μια σελίδα 404 μέσα στο ίδιο το αρχείο αντί για τους συνήθεις κανόνες robots.txt.
Υπάρχουν επίσης πολλά παραδείγματα στο GSC του τελευταίου εγγεγραμμένου αρχείου robots.txt που ανιχνεύτηκε στις 4 Ιανουαρίου.
Σίγουρα ένα που πρέπει να προσέξετε σε περίπτωση που συμβεί ξανά / δεν έχει ακόμη επιλυθεί - τοποθετήστε άλλες ετικέτες ως προστατευτικό.
Ένα παράδειγμα για το πώς αυτό θα μπορούσε να οδηγήσει σε σημαντικά ζητήματα ευρετηρίασης:
Ένα κατάστημα που δεν έχει διαμορφώσει τις σελίδες φίλτρων του σε noindex, τώρα ξαφνικά έχει συνδυασμούς φίλτρων με δυνατότητα ευρετηρίασης (προηγουμένως αποκλείστηκε από το "+" στο αρχείο robots.txt), ο οποίος θα μπορούσε να αυξήσει εκθετικά τον αριθμό των σελίδων με δυνατότητα ευρετηρίου.
Ακολουθεί μια εικόνα που δείχνει τι έχει εμφανιστεί στο Google στο αρχείο robots.txt (η σελίδα 404 html):
Θα με ενδιέφερε να δω αν κάποιος άλλος βλέπει αυτές τις μεγάλες πτώσεις σε αποκλεισμένες σελίδες στο GSC (έχω ελέγξει περίπου 10 μέχρι στιγμής και σχεδόν όλοι έχουν παρόμοιες πτώσεις).
English
Dutch
French
German
Greek
Italian
Luxembourgish
Norwegian
Portuguese
Russian
Spanish
Swedish