aleff.

Seu site bloqueia a IA sem você saber? Como conferir o robots.txt

Passo a passo para conferir se o robots.txt do seu site libera os robôs de busca por IA, separar busca de treino e checar a camada de proteção na frente do site.

Por Pepper · · 9 min de leitura

“Perguntei ao ChatGPT quem faz o que a minha empresa faz. Apareceram dois concorrentes. A minha não. O site está no ar e eu apareço no Google. O que eu fiz de errado?”

Talvez nada. Ser citado por um assistente de IA depende de muita coisa, e parte dela ninguém controla. Mas existe uma conferência simples que vem antes de qualquer conversa sobre conteúdo: saber se o seu site deixa esses robôs entrarem. Muita empresa nunca abriu o arquivo que decide isso.

Resposta curta

O arquivo se chama robots.txt. Ele fica na raiz do site e diz aos robôs o que eles podem ler. Para conferir:

  1. Abra seusite.com.br/robots.txt no navegador.
  2. Procure os nomes dos robôs de IA e a palavra Disallow.
  3. Separe duas decisões: aparecer na busca por IA e ceder conteúdo para treino de modelos.
  4. Confira se a camada de proteção na frente do site acrescenta regras por conta própria.
  5. Anote a decisão, quem decidiu e a data. Confira de novo depois de cada mudança no site.

Liberar o acesso não garante citação. Bloquear sem saber deixa você de fora antes de a conversa começar.

O que é o robots.txt

O robots.txt é um arquivo de texto com regras para robôs que leem sites, os rastreadores. Cada bloco começa com User-agent, o nome do robô, e segue com Allow (pode ler) ou Disallow (não leia).

A norma que define o formato é a RFC 9309. Ela determina que o arquivo esteja no caminho /robots.txt, em minúsculas, na raiz do endereço. E deixa claro um limite: as regras não são uma forma de autorização de acesso. O arquivo é um pedido público. Robôs de empresas sérias respeitam. Ele não tranca nada.

Passo 1: abra o arquivo que o mundo vê

Digite o endereço do seu site seguido de /robots.txt. Leia o que aparece no navegador, e não o arquivo guardado na pasta do site. No passo 4 você vai entender por que os dois podem ser diferentes.

O caso mais grave é este:

User-agent: *
Disallow: /

O asterisco vale para todos os robôs. A barra vale para o site inteiro. Esse par pede que ninguém leia nada. Ele costuma sobrar de um site em construção que foi ao ar sem revisão.

Se o endereço não mostra arquivo nenhum, não existe pedido de bloqueio por esse caminho. Mesmo assim, siga até o passo 4.

Como saber que deu certo: você consegue dizer, em uma frase, o que o seu robots.txt pede hoje.

Passo 2: saiba quem é quem

Cada empresa de IA usa mais de um robô, e cada robô tem uma função. Conferimos as páginas oficiais em 13/11/2026:

EmpresaRobôPara que serve, segundo a própria empresa
OpenAIOAI-SearchBotExibir sites nos resultados de busca do ChatGPT
OpenAIGPTBotColetar conteúdo que pode ser usado no treino de modelos
OpenAIChatGPT-UserVisitar uma página quando um usuário faz uma pergunta
AnthropicClaude-SearchBotMelhorar a qualidade dos resultados de busca do Claude
AnthropicClaudeBotColetar conteúdo que pode contribuir para o treino de modelos
AnthropicClaude-UserAcessar um site quando um usuário faz uma pergunta
GoogleGooglebotRastrear o site para a Busca
GoogleGoogle-ExtendedControlar o uso do conteúdo no treino e nas respostas do Gemini

As fontes são a página de robôs da OpenAI, o artigo de suporte da Anthropic e a lista de rastreadores do Google.

Três detalhes dessas páginas mudam a decisão:

  • A OpenAI informa que sites que barram o OAI-SearchBot não são exibidos nas respostas de busca do ChatGPT, embora ainda possam aparecer como link de navegação.
  • A Anthropic informa que barrar o Claude-SearchBot ou o Claude-User pode reduzir a visibilidade do site nas buscas feitas por usuários do Claude.
  • O Google informa que o Google-Extended não afeta a inclusão nem a posição do site na Busca. Para aparecer nos recursos de IA da Busca, a documentação diz que não há requisito técnico adicional: a página precisa estar indexada e apta a ser exibida com um trecho. Quem controla isso é o Googlebot.

A lista de robôs muda. Existem outros assistentes, cada um com a sua página oficial. Vale a mesma regra: consulte a fonte no dia.

Passo 3: decida busca e treino em separado

Aqui a conferência vira decisão de negócio. São duas perguntas diferentes:

  • Quero que os assistentes encontrem e mostrem a minha empresa quando alguém pergunta?
  • Aceito que o meu conteúdo seja usado para treinar modelos?

Para um site institucional, que existe para ser achado, a primeira resposta costuma ser sim. A segunda depende do que você publica. Quem vende conteúdo, como curso, pesquisa ou material autoral, tem motivo para pensar duas vezes.

O robots.txt aceita as duas respostas ao mesmo tempo. A documentação da OpenAI cita esse caso: liberar o OAI-SearchBot e barrar o GPTBot. Ficaria assim:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Um cuidado com a regra geral. Pela RFC 9309, o robô procura o bloco com o nome dele. O bloco do asterisco só vale quando não existe bloco específico. Então uma linha antiga com o nome de um robô pode contrariar a regra geral sem ninguém perceber.

Nossa opinião: essa decisão é do dono, e não de quem montou o site. Quem configura executa. Quem responde pelo negócio escolhe.

Como saber que deu certo: existe uma anotação com a escolha, o nome de quem decidiu e a data.

Passo 4: confira a camada na frente do site

Muitos sites ficam atrás de um serviço que acelera e protege o tráfego. Esse serviço responde ao visitante antes do seu servidor. Ele pode entregar um robots.txt diferente do que está na sua pasta.

Usamos a Cloudflare como exemplo porque é o que temos na frente do nosso blog. A documentação do robots.txt gerenciado, consultada em 13/11/2026, descreve o comportamento:

  • Se o site já tem robots.txt, a Cloudflare coloca as regras dela antes das suas e entrega tudo como um arquivo só.
  • Se o site não tem, ela cria um com regras de bloqueio para rastreadores de IA conhecidos.
  • Isso acontece quando a opção Enable Bot Preference Sync está ligada e ao menos uma política de busca, agente ou treino está em bloquear.

No exemplo publicado na documentação, o bloco gerenciado barra robôs de treino como GPTBot, ClaudeBot e Google-Extended. A página das políticas informa que, em domínios novos, o padrão das três políticas é permitir. O caminho no painel é Security, depois Settings, filtro Bot traffic, item AI Crawler and Agent access policies.

O padrão de hoje não diz como o seu painel está. Alguém pode ter mudado a opção há meses. Por isso o passo 1 pede o endereço público: ele mostra o resultado final, com tudo o que foi acrescentado no caminho.

Como saber que deu certo: o que aparece no navegador bate com o que você decidiu no passo 3.

Passo 5: confira depois, e meça o que der

Mudou o arquivo? Abra o endereço público de novo. A OpenAI informa que, para a busca, os sistemas podem levar cerca de 24 horas para se ajustar. Para os outros robôs, as páginas que consultamos não informam prazo.

Depois, meça com o que existe: o registro de acessos do site mostra se esses robôs passaram, e a ferramenta de análise mostra se alguém chegou vindo de um assistente. Sem esse dado, a resposta honesta é “não medi”.

Fizemos a conferência no nosso blog em 13/11/2026. O arquivo público libera todos os robôs e não tem bloco acrescentado pela camada de proteção. Achamos um ponto a corrigir: a nossa lista cita um nome que a página atual da Anthropic não menciona e deixa de citar os robôs de busca mais novos. Eles entram pela regra geral, então nada ficou bloqueado. A lista vai ser revisada. Se o blog é citado por assistentes, isso eu não medi.

O que o robots.txt não faz

  • Não garante citação. Ele abre a porta. O que o assistente encontra lá dentro é assunto de conteúdo, como o FAQ com perguntas reais e o llms.txt.
  • Não protege conteúdo privado. A própria norma diz que ele não autoriza nem impede acesso.
  • Não vale para tudo. A OpenAI avisa que, nas visitas disparadas por um usuário, com o ChatGPT-User, as regras do robots.txt podem não se aplicar.

Sinais de que você precisa de ajuda externa

  • Ninguém na empresa sabe dizer quem editou o robots.txt pela última vez.
  • O arquivo da pasta do site é diferente do que aparece no endereço público.
  • Você não sabe se existe um serviço de proteção na frente do site, nem quem tem a senha dele.
  • A agência, o freelancer e o fornecedor de hospedagem apontam um para o outro.
  • O site trocou de plataforma e ninguém conferiu o que mudou para os robôs.
  • A decisão sobre treino de IA com o seu conteúdo nunca foi tomada por alguém do negócio.

Onde está a alavanca

Antes de tudo, clareza. Muita empresa investe em texto, vídeo e anúncio para ser encontrada, e nunca olhou as poucas linhas que dizem aos robôs se eles podem entrar. O esforço é pequeno e fica no lugar certo: um arquivo, um painel e uma decisão com dono.

Essa conferência também mostra outra coisa. Se ninguém sabe quem mexe no robots.txt, é provável que ninguém saiba quem mexe no domínio, no painel de proteção e nas contas ligadas ao site. O arquivo é só o ponto mais fácil de enxergar. Quando essa lista cresce, ela pede alguém que decida prioridade e risco e cobre a execução de quem você escolher. Esse é o trabalho de uma direção de tecnologia, interna ou contratada.

Comece hoje pelo passo 1. Abra o endereço do seu site com /robots.txt no fim, leia o que aparece e anote a data. Se a conta da camada de proteção ainda não existe ou está em nome de outra pessoa, o tutorial de como colocar um site no ar na Cloudflare mostra como criar a conta em nome da empresa.

Perguntas frequentes

Como saber se meu site está bloqueando os robôs de IA?

Abra no navegador o endereço do seu site seguido de /robots.txt. Procure os nomes dos robôs de IA, como OAI-SearchBot, GPTBot, ClaudeBot e Claude-SearchBot, e a palavra Disallow logo abaixo deles. Uma regra Disallow: / embaixo de User-agent: * pede que todos os robôs fiquem de fora, inclusive os de IA.

Liberar o robots.txt garante que a IA vai citar minha empresa?

Não garante. O robots.txt só diz quem pode ler o site. Ser citado depende do conteúdo e de critérios de cada assistente, que as empresas não publicam por inteiro. O Google escreve na própria documentação que indexar e exibir uma página não é garantido.

Posso aparecer na busca do ChatGPT sem deixar usar meu conteúdo para treino?

Pode pedir isso. Segundo a documentação da OpenAI, consultada em 13/11/2026, o dono do site pode liberar o OAI-SearchBot, que serve à busca, e barrar o GPTBot, que coleta conteúdo para treino de modelos. São robôs separados, com regras separadas no robots.txt.

O robots.txt impede alguém de copiar meu conteúdo?

Não impede. A norma que define o arquivo, a RFC 9309, afirma que as regras não são uma forma de autorização de acesso. O robots.txt é um pedido público que os robôs sérios respeitam. Conteúdo que não pode ser lido por estranhos precisa de login, e não de uma linha no robots.txt.

Uso Cloudflare. Ela pode mudar o meu robots.txt?

Pode, se um recurso estiver ligado no painel. A documentação da Cloudflare, consultada em 13/11/2026, informa que o robots.txt gerenciado acrescenta regras antes do seu arquivo quando a sincronização de preferências está ligada e alguma política de busca, agente ou treino está em bloquear. Por isso vale conferir o endereço público, e não só o arquivo da pasta.

Quanto tempo leva para uma mudança no robots.txt valer?

Depende de cada empresa. A OpenAI informa que, para os resultados de busca, os sistemas podem levar cerca de 24 horas para se ajustar depois de uma mudança no robots.txt. Para os outros robôs, a documentação que consultamos não informa prazo.