Guia completo do arquivo robots.txt

Ola tudo certo? Você sabe o que é o arquivo robots.txt e para que funciona?

Com o robots.txt você pode controlar como o Google interage com suas páginas. O conteúdo deste arquivo informa aos rastreadores do motores de busca como eles devem visitar o seu site.

Se houver arquivos e diretórios que você não quer que sejam indexadas pelos motores de busca, você pode usar um arquivo robots.txt para definir onde os robôs não deve ir. O Robots.txt é um arquivos de texto simples colocado no diretório principal da sua hospedagem.

Como exemplo: www.seublog.com/robots.txt

Se você quiser ver qualquer arquivo robots.txt de um sites, simplesmente adicione o “/robots.txt” ao nome de domínio. Aqui, por exemplo, o arquivo robots.txt do WP College – http://www.wpcollege.com.br/robots.txt

O que eles fazem exatamente?

Arquivos robots.txt mostra suas instruções para um robô do motor de busca.

A primeira coisa que um robô do motor de busca olha quando visita uma página é o arquivo robots.txt. Se você tem alguma instrução para o robô do buscador, você deve dizer quais são as instruções.

O problema mais comum é não sabem como fazer o arquivo robots.txt.

É um arquivo de texto, o que significa que você pode usar o bloco de notas, WordPad, ou qualquer outro editor de texto simples.

Então, ao invés de pensar “Eu estou fazendo um arquivo robots.txt”, basta pensar: “Eu estou escrevendo uma nota”, eles são exatamente o mesmo processo.

O que tem no arquivo Robots.txt?

Isso depende do que você quer que ele faça. A grande maioria quer que os robôs visitem todo o blog. Se este for o seu caso, existem três opções para isso.

1) Não tem um arquivo robots.txt
O robô procura pelo arquivo em seu blog, não encontrando ele entende que pode varrer todas as páginas do seu blog.
2) Faça um arquivo vazio e chamá-lo robots.txt
Se seu blog tem um arquivo robots.txt que não tem nada nele, então o robô vai da mesma forma vasculhar todas as páginas do seu blog.
3) Faça um arquivo robots.txt e escreva esses dois código

User-agent: *
Disallow:

Com esses dois códigos o robô vai ler a primeira linha onde informa que qualquer robô de buscadores pode acessar o site e a segunda linha que permite ele vasculhar todas as páginas sem restrições.

O que significa as instruções do robô?

Aqui está uma explicação sobre o que as palavras significam diferentes em um arquivo robots.txt

Veja também:  10 passos para criar um blog de sucesso

User-agent

A parte “User-agent” especificar as direções para um robô específico, se necessário. Há duas maneiras de usar isso em seu arquivo.

Se você quer dizer a todos os robôs a mesma coisa que você colocar um “*” após o “User-agent” Seria algo assim

Exemplo:

User-agent: *

Se você quer dizer a um robô algo específico (neste exemplo, o Googlebot) que seria parecido com isso …

Exemplo:

User-agent: Googlebot

Alguns User-agent

  • Google: User-agent: Googlebot
  • Google Imagens: User-agent: Googlebot-images
  • Google Adwords: User-agent: Adsbot-Google
  • Google Adsense: User-agent: Mediapartners-Google
  • Yahoo: User-agent: Slurp
  • Bing: User-agent: Bingbot

Disallow

O Código “Disallow” diz aos robôs quais pastas eles não devem vasculhar. Isto significa que se, por exemplo, você não quer que os motores de busca procure alguma pasta específica você adicionar o “Disallow: /nomedapasta”

Exemplo: Vamos dizer que você colocou algumas fotos em uma pasta chamada “fotos” e você não quer indexar essa pasta.

User-agent: *
Disallow: /fotos

Googlebot instruções específicas

O robô que o Google usa para indexar seu motor de busca é chamado Googlebot. Ele entende mais algumas instruções do que outros robôs.

Allow

“Allow:” permite faz o contrário do “Disallow”, ele informa ao robô que ele pode vasculhar a pasta especifica depois desse código.

Vamos usar o exemplo acima, você adicionou algumas fotos na pasta “fotos”, mas tem uma que gostaria de ser indexada pelo Google então você coloca o código dessa maneira no Robots.txt

User-agent: *
Disallow: /fotos
Allow: /fotos/foto-permitida.jpg

Isso informa ao Googlebot que pode visitar “foto-permitida.jpg” na pasta de fotos, mesmo que a pasta “foto” esteja proibida de ser acessada.

Exemplo prático para o WordPress

No WordPress temos algumas pastas que não precisam ser indexadas pelo Google como o “wp-admin”, “wp-content” e “wp-includes”, já a pasta onde fica as imagens “wp-content/uploads” pode ser acessada.

Então o Robots.txt fica assim:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Allow: /wp-content/uploads

Conclusão

Verifique se em seu blog já tem o arquivo robots.txt e veja como está escrito, um robots.txt mais configurado pode prejudicar muito o seu blog de ser indexado.

Espero que tenha gostado dessa dica e caso tenha alguma dúvida pode deixar um comentário, caso você use mais algum código pode compartilhar aqui conosco ok?

Até mais!

 

 

Gostou da postagem? Então vote abaixo!

Guia completo do arquivo robots.txt
5 (100%) 2 voto[s]

Veja também:


Ultrapack V2

O blog te ajudou? ajude o blog!

Os valores doados serão utilizados para pagar os custos do blog, como hospedagem e domínio.

Doação para o WP College

Resposta

Deixe uma resposta

Cadastre-se para receber GRÁTIS minhas melhores dicas!