Ho dati che suggeriscono che Shopify non ha pubblicato un file robots.txt in modo coerente (se non del tutto) almeno dal 4 gennaio (e sembra che sia stato appena risolto oggi, 5:15 GMT del XNUMX gennaio).
L'immagine sopra mostra come 690,000 URL sono passati da bloccati a scansionabili il 4 gennaio e ho verificato questo problema oggi su più siti file robots.txt, con tutti loro che visualizzano il codice HTML per una pagina 404 all'interno del file stesso invece di le solite regole del file robots.txt.
Ci sono anche numerosi esempi in GSC dell'ultimo file robots.txt registrato scansionato il 4 gennaio.
Sicuramente uno a cui prestare attenzione nel caso in cui accada di nuovo / non è ancora completamente risolto: metti altri tag in posizione come salvaguardia.
Un esempio di come ciò potrebbe portare a importanti problemi di indicizzazione:
Un negozio che non ha configurato le proprie pagine di filtro su noindex, ora ha improvvisamente combinazioni di filtri indicizzabili (precedentemente bloccate dal "+" nel file robots.txt), che potrebbero aumentare in modo esponenziale il numero di pagine indicizzabili.
Ecco un'immagine che mostra ciò che è stato mostrato a Google nel file robots.txt (la pagina 404 html):
Sarei interessato a vedere se qualcun altro vede questi grandi cali nelle pagine bloccate in GSC (ne ho controllati circa 10 finora e quasi tutti hanno cali simili).
English
Dutch
French
German
Greek
Italian
Luxembourgish
Norwegian
Portuguese
Russian
Spanish
Swedish