Verifique se o robots.txt bloqueia sua URL
Cole o domínio e o caminho que quer testar. A ferramenta busca o robots.txt do site, identifica as regras aplicáveis ao Googlebot e retorna se a URL seria bloqueada ou permitida, e qual regra foi aplicada.
nota: nenhum dado é armazenado. A análise acontece em tempo real e os resultados não são salvos.
o que é o robots.txt e para que é usado
O robots.txt é um arquivo de texto hospedado na raiz de um domínio, sempre acessível em seusite.com.br/robots.txt. Ele informa aos crawlers quais caminhos do site podem ou não ser acessados. Conforme a documentação oficial do Google , o arquivo é usado principalmente para gerenciar o tráfego de rastreamento e evitar sobrecarga do servidor.
As diretivas mais comuns são:
User-agentIndica para qual crawler as regras se aplicam. O valor * representa todos os crawlers. Valores específicos como Googlebot se aplicam apenas àquele bot.
DisallowIndica os caminhos que o crawler não deve acessar. Um Disallow: /admin/ bloqueia tudo dentro desse diretório.
AllowAbre exceções dentro de um bloco bloqueado. Se um diretório inteiro está bloqueado com Disallow, uma regra Allow pode liberar um caminho específico dentro dele.
SitemapInforma a localização do sitemap do site. Não é uma regra de rastreamento, apenas uma dica de descoberta de conteúdo.
quando usar as regras de bloqueio ou liberação
Disallow faz sentido para caminhos sem valor para indexação: painéis administrativos, resultados de busca interna, páginas geradas por filtros e parâmetros que duplicam conteúdo já existente, e áreas de carrinho ou checkout.
Uma limitação importante: bloquear uma URL no robots.txt não garante que ela saia do Google. Conforme a documentação do Google , uma URL bloqueada para rastreamento ainda pode ser indexada se houver links externos apontando para ela. O Google consegue saber que a URL existe sem precisar acessar o conteúdo. Nesse caso, ela pode aparecer nos resultados sem descrição.
Para remover uma página do índice, o caminho correto é permitir o rastreamento e usar a meta tag noindex. Se o rastreamento estiver bloqueado, o Googlebot não consegue ler a instrução noindex e a página pode continuar indexada.
perguntas frequentes
Não. Uma URL bloqueada no robots.txt pode continuar aparecendo nos resultados de busca se houver links externos apontando para ela. O Google pode indexar a URL sem conseguir rastrear o conteúdo, exibindo o resultado sem descrição. Para remover uma URL do índice, é preciso permitir o rastreamento e usar a meta tag noindex, ou usar a ferramenta de remoção do Google Search Console para remoções urgentes.
Precisa de ajuda com seu site? Me chama no LinkedIn, trabalho com SEO há quase 10 anos e posso te ajudar.
conversar no LinkedIn