Robots.txt: o que é, como criar e erros que evitar

O robots.txt é um arquivo de texto simples, na raiz do site (seusite.com.br/robots.txt), que diz aos robôs de busca quais partes do site eles podem ou não rastrear. Serve para evitar que o Googlebot e outros robôs gastem tempo em áreas sem valor para a busca, como o painel administrativo, o carrinho ou páginas de filtro.

O ponto que mais gera confusão: robots.txt controla o rastreamento, não a indexação. Uma página bloqueada ainda pode aparecer no Google se outros sites apontarem para ela. Para tirar uma página do índice, o caminho é a instrução noindex. Neste artigo explicamos a sintaxe linha por linha, os erros que derrubam sites, como testar no Search Console e o que fazer com os robôs de inteligência artificial.

Onde fica e como o Google lê o arquivo

O arquivo precisa estar exatamente na raiz do domínio, com esse nome, em letras minúsculas. Algumas regras de funcionamento que vêm da documentação do Google:

Vale por endereço: o robots.txt de https://www.loja.com.br vale só para esse host e protocolo. Um subdomínio como blog.loja.com.br precisa do seu próprio arquivo.
Tamanho: o Google lê até 500 KiB. O que passar disso é ignorado.
Cache: o Google costuma guardar o arquivo por até 24 horas. Uma mudança pode levar um dia para valer.
Se o arquivo não existe (erro 404): o Google entende que pode rastrear tudo. Não é um problema.
Se o servidor responde com erro 5xx: o Google suspende o rastreamento do site por até 12 horas e depois passa a usar a última versão boa que tinha, por até 30 dias. Um robots.txt fora do ar é muito pior do que um robots.txt inexistente.

A sintaxe, linha por linha

O Google reconhece quatro instruções. Todo o resto, como Crawl-delay, é ignorado por ele (alguns outros robôs aceitam).

Instrução	O que faz	Exemplo
User-agent	Diz a qual robô as regras abaixo se aplicam. O asterisco vale para todos	User-agent: *
Disallow	Proíbe o rastreamento do caminho indicado	Disallow: /carrinho/
Allow	Libera um caminho dentro de uma área proibida	Allow: /wp-admin/admin-ajax.php
Sitemap	Informa o endereço completo do sitemap. Pode haver mais de um	Sitemap: https://www.loja.com.br/sitemap_index.xml

Um robots.txt típico de WordPress fica assim:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.seusite.com.br/wp-sitemap.xml

Curingas e prioridade

Dois símbolos ajudam a escrever regras mais precisas. O * significa “qualquer sequência de caracteres” e o $ marca o fim do endereço.

Disallow: /*?ordenar= bloqueia qualquer URL com o parâmetro de ordenação.
Disallow: /*.pdf$ bloqueia endereços que terminam em .pdf.

Quando duas regras batem com o mesmo endereço, o Google aplica a mais específica, ou seja, a de caminho mais longo. Com Disallow: /loja/ e Allow: /loja/promocoes/, a página /loja/promocoes/camisetas/ fica liberada. Em caso de empate, vale a regra menos restritiva (o Allow).

Atenção também às maiúsculas: os caminhos diferenciam maiúsculas de minúsculas. Disallow: /Admin/ não bloqueia /admin/.

Grupos por robô

Cada robô obedece apenas ao grupo mais específico que menciona o seu nome. Se o arquivo tem um grupo para User-agent: * e outro para User-agent: Googlebot, o Googlebot segue só o segundo e ignora o primeiro. Quem cria um grupo para um robô específico precisa repetir nele as regras gerais que também quer aplicar.

Robots.txt não tira página do Google

Esse é o erro de conceito mais caro. Quando você bloqueia uma página no robots.txt, o Google deixa de visitá-la, mas o endereço pode continuar no índice se houver links para ele. O resultado aparece no Search Console como “Página indexada, mas bloqueada pelo robots.txt”, e na busca o link surge sem descrição.

Pior: se a página tem a tag noindex e também está bloqueada no robots.txt, o Google nunca chega a ler o noindex. A página fica presa no índice.

Objetivo	Ferramenta certa
Economizar rastreamento em áreas sem valor (filtros, busca interna, carrinho)	Disallow no robots.txt
Tirar uma página do índice do Google	Meta tag robots com noindex (ou cabeçalho X-Robots-Tag), com a página liberada no robots.txt
Esconder conteúdo privado	Senha ou login. Robots.txt é público e qualquer pessoa pode lê-lo
Remover uma página com urgência	Ferramenta de remoções do Search Console, que esconde temporariamente, e depois noindex ou exclusão definitiva

Desde 2019, o Google também não aceita a instrução noindex dentro do robots.txt. Se o seu arquivo tem essa linha, ela não faz nada.

Os erros que mais tiram páginas do Google

Disallow: / esquecido. Durante o desenvolvimento, é comum bloquear o site inteiro para o novo layout não aparecer na busca. Na hora de publicar, ninguém tira a linha. Em poucas semanas, o tráfego orgânico pode sumir. Quando um site novo vai ao ar, o /robots.txt é uma das primeiras coisas a conferir.
Bloquear CSS e JavaScript. Regras como Disallow: /wp-content/ ou Disallow: /assets/ impedem o Google de carregar o visual e os scripts. Ele passa a ver uma página quebrada e pode avaliar mal o conteúdo e a versão para celular.
Bloquear em vez de usar noindex. Como vimos acima, isso mantém o endereço no índice e impede a leitura do noindex.
Regra larga demais. Disallow: /p bloqueia /promocoes/, /produtos/ e /politica-de-trocas/, porque todas começam com /p. Feche o caminho com barra: Disallow: /p/.
Grupo específico que anula o geral. Criar um grupo só para o Googlebot e esquecer de repetir nele as regras do grupo geral.
Arquivo fora do ar. Um robots.txt que responde com erro de servidor pode paralisar o rastreamento. Ele deve responder 200 (ou 404, se não existir).
Bloquear a pasta de imagens. Uma regra como Disallow: /wp-content/uploads/ impede o Google de rastrear as fotos do site, que deixam de aparecer no Google Imagens. Se a intenção é só proteger alguns arquivos, bloqueie esses caminhos, não a pasta inteira.

Como testar no Search Console

A antiga ferramenta de teste de robots.txt do Search Console foi aposentada no fim de 2023 e substituída pelo relatório de robots.txt. Hoje, o caminho é:

Relatório de robots.txt (em Configurações): mostra quais arquivos o Google encontrou para os principais hosts do site, quando foram lidos pela última vez, o tamanho e se há erros ou avisos. Ele só aparece em propriedades de domínio ou de prefixo sem pasta.
Pedir nova leitura: depois de corrigir um erro grave, use a opção de solicitar novo rastreamento do arquivo no próprio relatório.
Inspeção de URL: cole o endereço de uma página importante. Se estiver bloqueada, o resultado informa que o rastreamento foi impedido pelo robots.txt.
Relatório de indexação de páginas: confira o motivo “URL bloqueado pelo arquivo robots.txt” e veja se há alguma página que deveria estar no Google.

Se você ainda não configurou o Search Console, o nosso guia do Google Search Console mostra o passo a passo. E o robots.txt é um dos primeiros itens do nosso checklist de SEO técnico.

Robôs de IA: bloquear ou liberar?

Além dos buscadores, empresas de inteligência artificial também rastreiam a web. A maioria respeita o robots.txt e usa nomes diferentes para finalidades diferentes, o que permite escolher com precisão.

Nome no robots.txt	Empresa	Para que serve
Google-Extended	Google	Controla se o conteúdo pode ser usado para treinar e alimentar os modelos Gemini. Não afeta a presença na Pesquisa Google nem o ranqueamento
GPTBot	OpenAI	Coleta conteúdo que pode ser usado no treinamento dos modelos
OAI-SearchBot	OpenAI	Faz o site aparecer nas respostas de busca do ChatGPT. Bloquear tira o site dessas respostas
ClaudeBot	Anthropic	Coleta conteúdo para possível uso em treinamento
Claude-SearchBot	Anthropic	Indexa páginas para os resultados de busca do Claude
PerplexityBot	Perplexity	Indexa páginas para as respostas do Perplexity
CCBot	Common Crawl	Monta uma base pública da web, usada por muitos projetos de IA

O raciocínio que usamos com clientes: se a empresa quer ser citada pelos assistentes, ela precisa deixar os robôs de busca dessas ferramentas entrarem. Bloquear o treinamento é uma decisão de negócio, separada. É possível, por exemplo, bloquear GPTBot e ClaudeBot e liberar OAI-SearchBot e Claude-SearchBot.

Dois cuidados. Bloquear o Google-Extended não tira o site das visões gerais criadas por IA na Pesquisa Google, porque elas fazem parte da própria Pesquisa e seguem as regras do Googlebot. E robôs acionados diretamente por um usuário, como o ChatGPT-User, podem não seguir o robots.txt, segundo a própria OpenAI. Para entender como aparecer nas respostas, veja o nosso artigo sobre GEO e assistentes de busca.

Perguntas frequentes

Todo site precisa de robots.txt?

Não é obrigatório. Sem o arquivo, o Google rastreia tudo o que encontrar. Mas ter um robots.txt simples, que indique o sitemap e bloqueie áreas sem valor, é uma boa prática.

Como editar o robots.txt no WordPress?

O WordPress gera um arquivo virtual automaticamente. Plugins de SEO como Yoast e Rank Math têm um editor do arquivo no painel. Também é possível enviar um arquivo robots.txt real para a raiz do site pelo gerenciador de arquivos da hospedagem, e ele passa a valer no lugar do virtual.

Posso usar o robots.txt para esconder uma área restrita?

Não. O arquivo é público e, ao listar a área, você ainda mostra onde ela fica. Para conteúdo privado, use senha ou login.

O Crawl-delay funciona no Google?

Não. O Google ignora essa instrução e ajusta o ritmo de rastreamento sozinho, de acordo com a capacidade de resposta do servidor. Outros robôs, como os da Anthropic, dizem respeitá-la.

Revisar o robots.txt leva minutos, e um erro nele pode custar meses de tráfego. Se quiser que a gente confira o seu junto com o resto da base técnica, isso faz parte da nossa otimização SEO. Para decidir com calma o que liberar para os assistentes de IA, veja também a otimização GEO.

Robots.txt: o que é, como criar e os erros que tiram páginas do Google