indexeras men blockeras av robots.txt

Nästan alla som driver en hemsida av alla storlekar kommer att ha detta meddelande Google Sök Trösta.

Det är en konstant gul fläck på alla som gillar att köra saker utan fel.

Men är det värt att fixa det?

Det beror på orsaken bakom det, låt oss undersöka.

När är detta inte ett problem?

Nu som en e-handel SEO-expert, Jag är mycket bekant med problemen med stora e-handelssajter, och så använder jag robots.txt fil är av största vikt för att optimera Googles genomsökningshastigheter.

Om du blockerar “krypa svarta hål” eller liknande värdelösa extra sidor från Google bot, då är dessa varningar bra att ignorera.

Exempel på när det inte är ett problem:

  • Din robots.txt-fil blockerar filter webbadresser på dina kategorisidor, eftersom du har 1,000+ potentiella variationskombinationer och exponentiellt skulle sakta ner Google ner.
  • Du har tagit bort blocket och väntar på att få en ny recrawling (använd i så fall valideringsknappen i Search Console).

Även om Google säger uttryckligen att du inte ska blockera filtersidor med robots.txt fil, Jag har funnit att den är effektiv på de webbplatser jag arbetar med, och därför rekommenderar jag att jag gör det.

Google kryper den inre länkar till dina filtersidor på din webbplats, så ofta indexerar några av dem även om de blockeras av robots.txt. Du kan ställa in dem på noindex, ta bort blocket, vänta på Google att krypa, sedan låsa om, men problemet kommer att komma tillbaka så småningom.

Blockering via robots.txt är ett mindre av två ont.

När är detta ett problem som behöver åtgärdas?

Om du har blockerat en sida av misstag, då vill du hitta och ta bort regeln på robots.txt-sidan så snabbt som möjligt, som Google kan fortfarande avindexera sidan när den är blockerad, eller åtminstone visa varningsmeddelandet i Sök resultat istället för din metabeskrivning.

Om det bara finns ett lågt antal sidor som blockeras är det bäst att använda egenskapen noindex på själva sidorna (och ta bort den från webbplatskartan) snarare än att blockera via robots.txt fil.

Hur fixar du det?

För att åtgärda detta borde du göra det revision ditt robots.txt fil för att identifiera regel som blockerar sidorna.

Du kan hitta Google robots.txt testarsida här: https://www.google.com/webmasters/tools/robots-testing-tool

Du bör redigera eller ta bort reglerna som påverkar sidorna du vill fixa.

För att göra detta exporterar du webbadresserna från Google Search Console som är flaggade som "Indexerade, men blockerade av robots.txt" och hittar de stötande reglerna genom att klistra in strängen i testet verktygoch se vilken rad som är flaggad som röd (notera att det kan vara flera rader som blockerar en webbadress).

Dessa regler kommer sannolikt att finnas där av en anledning, så se till att du lägger till ändrade regler för att fortsätta att exkludera dåliga webbadresser, medan du tillåter alla webbadresser du vill indexeras.

Du kan redigera filen i testverktyget och sedan kopiera de nya reglerna för att skriva över i din befintliga robots.txt-fil i filhanteraren / FTP.

När du har fixat fil, klicka på knappen "Validera åtgärda" i Google Sök Konsol och följ stegen.

Behöver hjälp?

Jag hanterar dessa problem varje dag, så jag har en bra position för att hjälpa dig att åtgärda dina fel och förbättra dina trafik från Google.

Kontakt mig idag via e-mail att fråga (info@matt-jackson.com) eller se min tjänstesida.

Hur användbart var det här inlägget?

Klicka på en stjärna för att betygsätta det!

Medelbetyg 5 / 5. Röstaantal: 11

Inga röster hittills! Bli den första att betygsätta detta inlägg.

Vi beklagar att det här inlägget inte var användbart för dig!

Låt oss förbättra detta inlägg!

Berätta för oss hur vi kan förbättra det här inlägget?

matt Jackson

E-handel SEO-specialist, med över 8 års heltidserfarenhet att analysera och fixa webbplatser för online shopping. Praktisk erfarenhet av Shopify, Wordpress, Opencart, Magento och andra CMS.
Behövs hjälp? Mejla mig för mer info på info@matt-jackson.com

Det här inlägget har 3 kommentarer
  1. “Http://factichindi.blogspot.com/search” detta webbadressindex på sökmotorn men blockeras av robot.txt. under denna webbadress visas "ingen information tillgänglig för den här sidan"

    Vad kan jag göra…. snälla kolla min robot. text och ge mig ett förslag så snart som möjligt

    Tack för bästa information

Lämna ett svar

E-postadressen publiceras inte. Obligatoriska fält är markerade *