Testador de robots.txt

Cole o conteúdo do seu robots.txt, informe um caminho de URL e veja se ele está permitido ou bloqueado para o crawler escolhido — aplicando a regra de correspondência mais específica, como o Google faz.

O resultado aparece aqui

Como o Google interpreta o robots.txt

O robots.txt controla o que os crawlers podem rastrear. Cada bloco começa com um ou mais User-agent e lista regras Allow e Disallow. O crawler usa o bloco mais específico para o seu nome (ou o * se não houver um dedicado).

A regra que vence é a de correspondência mais longa (mais caracteres no caminho). Por isso Allow: /admin/publico/ libera uma subpasta mesmo com Disallow: /admin/. O * funciona como coringa e $ marca o fim da URL.

Cuidado: bloquear no robots.txt não garante que a página saia do índice — para isso use noindex. E um robots.txt mal configurado pode esconder páginas importantes do Google sem querer.

Artigo Relacionado

O Que Acontece Quando Você Ignora o robots.txt

Três cenários reais de problemas causados por robots.txt mal configurado.

Ler artigo completo

Livro Recomendado

A Arte de SEO
SEO ~R$129

A Arte de SEO

Cobre SEO técnico, rastreamento, indexação e configuração de robots.txt.

Ver na Amazon

#anúncio · Link de afiliado Amazon. Ao comprar por este link, você apoia o site sem custo adicional.

Como associado Amazon, este site ganha comissões por compras qualificadas. Saiba mais.