indexado, embora bloqueado por robots.txt

Quase todo mundo que dirige um site do Network Development Group de qualquer tamanho terá esta mensagem em Pesquisa do Google Console.

É uma mancha amarela constante em quem gosta de executar as coisas sem erros.

Mas vale a pena consertar?

Isso depende do motivo por trás disso, vamos investigar.

Quando isso não é um problema?

Agora como um especialista em SEO de comércio eletrônico, Estou muito familiarizado com os problemas de grandes sites de comércio eletrônico e, portanto, uso o arquivo robots.txt filete é fundamental para otimizar Google taxas de rastreamento.

Se você estiver bloqueando "buracos negros rastejantes" ou páginas extras inúteis semelhantes de Google bot, esses avisos podem ser ignorados.

Exemplos de quando não é um problema:

  • Seu arquivo robots.txt bloqueia o filtro urls em suas páginas de categoria, porque você tem mais de 1,000 combinações de variação em potencial e reduziria exponencialmente Google para baixo.
  • Você removeu o bloqueio e está aguardando para ser rastreado novamente (nesse caso, use o botão de validação no Search Console).

Apesar de Google diz explicitamente que você não deve bloquear páginas de filtro usando o robots.txt filete, Descobri que é eficaz nos sites com os quais trabalho e, portanto, recomendo fazê-lo.

Google rastreia o interno Links às suas páginas de filtro em seu site, muitas vezes indexa algumas delas, mesmo que sejam bloqueadas pelo robots.txt. Você pode defini-los como noindex, remover o bloco, esperar por Google rastejar e, em seguida, bloquear novamente, mas o problema voltará eventualmente.

Bloquear via robots.txt é o menor de dois males.

Quando é um problema que precisa ser corrigido?

Se você bloqueou uma página acidentalmente, então você deseja encontrar e remover a regra na página do robots.txt o mais rápido possível, como Google ainda pode desindexar a página quando ela está bloqueada, ou pelo menos mostrar a mensagem de aviso em search resultados em vez de sua meta descrição.

Se houver apenas um pequeno número de páginas bloqueadas, é melhor usar a propriedade noindex nas próprias páginas (e removê-la do mapa do site) em vez de bloquear por meio do robots.txt filete.

Como corrigir isso?

Para consertar isso, você deve auditor seu robots.txt filete para identificar a regra que está bloqueando as páginas.

Você pode encontrar o Google Página do testador do robots.txt aqui: https://www.google.com/webmasters/tools/robots-testing-tool

Você deve editar ou remover as regras que afetam as páginas que deseja corrigir.

Para fazer isso, exporte os urls do Google Search Console sinalizados como “Indexados, embora bloqueados por robots.txt” e encontre as regras ofensivas colando a string no campo de teste ferramentae ver qual linha está sinalizada como vermelha (observe que várias linhas podem estar bloqueando qualquer url).

Essas regras provavelmente existirão por um motivo, portanto, certifique-se de adicionar novamente as regras modificadas para manter a exclusão de urls inválidos, ao mesmo tempo que permite que quaisquer urls que deseja sejam indexados.

Você pode editar o arquivo na ferramenta de teste e, em seguida, copiar as novas regras para substituir em seu arquivo robots.txt existente no gerenciador de arquivos / FTP.

Depois de corrigir o filete, clique no botão “Validar correção” em Pesquisa do Google Console e siga as etapas.

Precisa de ajuda?

Eu lido com esses problemas todos os dias e, portanto, estou em uma boa posição para ajudá-lo a corrigir seus erros e melhorar seu tráfego de Google.

Contato eu hoje via email para inquirir (info@matt-jackson.com) ou consulte minha página de serviços.

Quão útil foi esta postagem?

Clique em uma estrela para avaliá-la!

Classificação média 5 / 5. Contagem de votos: 11

Nenhum voto até agora! Seja o primeiro a avaliar esta postagem.

Lamentamos que este post não tenha sido útil para você!

Vamos melhorar este post!

Diga-nos como podemos melhorar esta postagem?

Matt Jackson

Especialista em Ecommerce SEO, com mais de 8 anos de experiência em tempo integral na análise e correção de sites de compras online. Experiência prática com Shopify, Wordpress, Opencart, Magento e outros CMS.
Preciso de ajuda? Envie-me para mais informações, em info@matt-jackson.com

Este item é 3 Postar comentários
  1. “Http://factichindi.blogspot.com/search” este índice de url no motor de pesquisa, mas bloqueado por robots.txt. abaixo deste url “nenhuma informação disponível para esta página” mostrando

    O que eu posso fazer…. verifique meu robot.Txt e me dê uma sugestão o mais rápido possível

    Obrigado pela melhor informação

Deixe um comentário

Seu endereço de email não será publicado. Campos obrigatórios são marcados com *