Tenho dados que sugerem que o Shopify não veicula um arquivo robots.txt de forma consistente (se é que o faz) desde pelo menos 4 de janeiro (e parece que foi corrigido hoje, 5h GMT, 15 de janeiro).
A imagem acima mostra como 690,000 urls passaram de bloqueados a rastreáveis no dia 4 de janeiro, e eu verifiquei esse problema hoje em vários arquivos de sites robots.txt, todos exibindo o código HTML para uma página 404 dentro do próprio arquivo em vez de as regras usuais do robots.txt.
Também há vários exemplos no GSC do último arquivo robots.txt registrado rastreado ocorrendo em 4 de janeiro
Definitivamente, deve-se tomar cuidado caso isso aconteça novamente / ainda não esteja totalmente corrigido - coloque outras tags no lugar como uma proteção.
Um exemplo de como isso pode levar a grandes problemas de indexação:
Uma loja que não configurou suas páginas de filtro para noindex, agora de repente tem combinações de filtros indexáveis (anteriormente bloqueadas pelo “+” no arquivo robots.txt), o que poderia aumentar exponencialmente o número de páginas indexáveis.
Aqui está uma imagem mostrando o que foi mostrado ao Google no arquivo robots.txt (o HTML da página 404):
Gostaria de saber se mais alguém vê essas grandes quedas nas páginas bloqueadas no GSC (verifiquei cerca de 10 até agora e quase todas têm quedas semelhantes).
English
Dutch
French
German
Greek
Italian
Luxembourgish
Norwegian
Portuguese
Russian
Spanish
Swedish