Seu site bloqueia a IA sem você saber? Como conferir o robots.txt
Passo a passo para conferir se o robots.txt do seu site libera os robôs de busca por IA, separar busca de treino e checar a camada de proteção na frente do site.
“Perguntei ao ChatGPT quem faz o que a minha empresa faz. Apareceram dois concorrentes. A minha não. O site está no ar e eu apareço no Google. O que eu fiz de errado?”
Talvez nada. Ser citado por um assistente de IA depende de muita coisa, e parte dela ninguém controla. Mas existe uma conferência simples que vem antes de qualquer conversa sobre conteúdo: saber se o seu site deixa esses robôs entrarem. Muita empresa nunca abriu o arquivo que decide isso.
Resposta curta
O arquivo se chama robots.txt. Ele fica na raiz do site e diz aos robôs o que eles podem ler. Para conferir:
- Abra
seusite.com.br/robots.txtno navegador. - Procure os nomes dos robôs de IA e a palavra
Disallow. - Separe duas decisões: aparecer na busca por IA e ceder conteúdo para treino de modelos.
- Confira se a camada de proteção na frente do site acrescenta regras por conta própria.
- Anote a decisão, quem decidiu e a data. Confira de novo depois de cada mudança no site.
Liberar o acesso não garante citação. Bloquear sem saber deixa você de fora antes de a conversa começar.
O que é o robots.txt
O robots.txt é um arquivo de texto com regras para robôs que leem sites, os rastreadores. Cada bloco começa com User-agent, o nome do robô, e segue com Allow (pode ler) ou Disallow (não leia).
A norma que define o formato é a RFC 9309. Ela determina que o arquivo esteja no caminho /robots.txt, em minúsculas, na raiz do endereço. E deixa claro um limite: as regras não são uma forma de autorização de acesso. O arquivo é um pedido público. Robôs de empresas sérias respeitam. Ele não tranca nada.
Passo 1: abra o arquivo que o mundo vê
Digite o endereço do seu site seguido de /robots.txt. Leia o que aparece no navegador, e não o arquivo guardado na pasta do site. No passo 4 você vai entender por que os dois podem ser diferentes.
O caso mais grave é este:
User-agent: *
Disallow: /
O asterisco vale para todos os robôs. A barra vale para o site inteiro. Esse par pede que ninguém leia nada. Ele costuma sobrar de um site em construção que foi ao ar sem revisão.
Se o endereço não mostra arquivo nenhum, não existe pedido de bloqueio por esse caminho. Mesmo assim, siga até o passo 4.
Como saber que deu certo: você consegue dizer, em uma frase, o que o seu robots.txt pede hoje.
Passo 2: saiba quem é quem
Cada empresa de IA usa mais de um robô, e cada robô tem uma função. Conferimos as páginas oficiais em 13/11/2026:
| Empresa | Robô | Para que serve, segundo a própria empresa |
|---|---|---|
| OpenAI | OAI-SearchBot | Exibir sites nos resultados de busca do ChatGPT |
| OpenAI | GPTBot | Coletar conteúdo que pode ser usado no treino de modelos |
| OpenAI | ChatGPT-User | Visitar uma página quando um usuário faz uma pergunta |
| Anthropic | Claude-SearchBot | Melhorar a qualidade dos resultados de busca do Claude |
| Anthropic | ClaudeBot | Coletar conteúdo que pode contribuir para o treino de modelos |
| Anthropic | Claude-User | Acessar um site quando um usuário faz uma pergunta |
| Googlebot | Rastrear o site para a Busca | |
| Google-Extended | Controlar o uso do conteúdo no treino e nas respostas do Gemini |
As fontes são a página de robôs da OpenAI, o artigo de suporte da Anthropic e a lista de rastreadores do Google.
Três detalhes dessas páginas mudam a decisão:
- A OpenAI informa que sites que barram o OAI-SearchBot não são exibidos nas respostas de busca do ChatGPT, embora ainda possam aparecer como link de navegação.
- A Anthropic informa que barrar o Claude-SearchBot ou o Claude-User pode reduzir a visibilidade do site nas buscas feitas por usuários do Claude.
- O Google informa que o Google-Extended não afeta a inclusão nem a posição do site na Busca. Para aparecer nos recursos de IA da Busca, a documentação diz que não há requisito técnico adicional: a página precisa estar indexada e apta a ser exibida com um trecho. Quem controla isso é o Googlebot.
A lista de robôs muda. Existem outros assistentes, cada um com a sua página oficial. Vale a mesma regra: consulte a fonte no dia.
Passo 3: decida busca e treino em separado
Aqui a conferência vira decisão de negócio. São duas perguntas diferentes:
- Quero que os assistentes encontrem e mostrem a minha empresa quando alguém pergunta?
- Aceito que o meu conteúdo seja usado para treinar modelos?
Para um site institucional, que existe para ser achado, a primeira resposta costuma ser sim. A segunda depende do que você publica. Quem vende conteúdo, como curso, pesquisa ou material autoral, tem motivo para pensar duas vezes.
O robots.txt aceita as duas respostas ao mesmo tempo. A documentação da OpenAI cita esse caso: liberar o OAI-SearchBot e barrar o GPTBot. Ficaria assim:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
Um cuidado com a regra geral. Pela RFC 9309, o robô procura o bloco com o nome dele. O bloco do asterisco só vale quando não existe bloco específico. Então uma linha antiga com o nome de um robô pode contrariar a regra geral sem ninguém perceber.
Nossa opinião: essa decisão é do dono, e não de quem montou o site. Quem configura executa. Quem responde pelo negócio escolhe.
Como saber que deu certo: existe uma anotação com a escolha, o nome de quem decidiu e a data.
Passo 4: confira a camada na frente do site
Muitos sites ficam atrás de um serviço que acelera e protege o tráfego. Esse serviço responde ao visitante antes do seu servidor. Ele pode entregar um robots.txt diferente do que está na sua pasta.
Usamos a Cloudflare como exemplo porque é o que temos na frente do nosso blog. A documentação do robots.txt gerenciado, consultada em 13/11/2026, descreve o comportamento:
- Se o site já tem robots.txt, a Cloudflare coloca as regras dela antes das suas e entrega tudo como um arquivo só.
- Se o site não tem, ela cria um com regras de bloqueio para rastreadores de IA conhecidos.
- Isso acontece quando a opção Enable Bot Preference Sync está ligada e ao menos uma política de busca, agente ou treino está em bloquear.
No exemplo publicado na documentação, o bloco gerenciado barra robôs de treino como GPTBot, ClaudeBot e Google-Extended. A página das políticas informa que, em domínios novos, o padrão das três políticas é permitir. O caminho no painel é Security, depois Settings, filtro Bot traffic, item AI Crawler and Agent access policies.
O padrão de hoje não diz como o seu painel está. Alguém pode ter mudado a opção há meses. Por isso o passo 1 pede o endereço público: ele mostra o resultado final, com tudo o que foi acrescentado no caminho.
Como saber que deu certo: o que aparece no navegador bate com o que você decidiu no passo 3.
Passo 5: confira depois, e meça o que der
Mudou o arquivo? Abra o endereço público de novo. A OpenAI informa que, para a busca, os sistemas podem levar cerca de 24 horas para se ajustar. Para os outros robôs, as páginas que consultamos não informam prazo.
Depois, meça com o que existe: o registro de acessos do site mostra se esses robôs passaram, e a ferramenta de análise mostra se alguém chegou vindo de um assistente. Sem esse dado, a resposta honesta é “não medi”.
Fizemos a conferência no nosso blog em 13/11/2026. O arquivo público libera todos os robôs e não tem bloco acrescentado pela camada de proteção. Achamos um ponto a corrigir: a nossa lista cita um nome que a página atual da Anthropic não menciona e deixa de citar os robôs de busca mais novos. Eles entram pela regra geral, então nada ficou bloqueado. A lista vai ser revisada. Se o blog é citado por assistentes, isso eu não medi.
O que o robots.txt não faz
- Não garante citação. Ele abre a porta. O que o assistente encontra lá dentro é assunto de conteúdo, como o FAQ com perguntas reais e o llms.txt.
- Não protege conteúdo privado. A própria norma diz que ele não autoriza nem impede acesso.
- Não vale para tudo. A OpenAI avisa que, nas visitas disparadas por um usuário, com o ChatGPT-User, as regras do robots.txt podem não se aplicar.
Sinais de que você precisa de ajuda externa
- Ninguém na empresa sabe dizer quem editou o robots.txt pela última vez.
- O arquivo da pasta do site é diferente do que aparece no endereço público.
- Você não sabe se existe um serviço de proteção na frente do site, nem quem tem a senha dele.
- A agência, o freelancer e o fornecedor de hospedagem apontam um para o outro.
- O site trocou de plataforma e ninguém conferiu o que mudou para os robôs.
- A decisão sobre treino de IA com o seu conteúdo nunca foi tomada por alguém do negócio.
Onde está a alavanca
Antes de tudo, clareza. Muita empresa investe em texto, vídeo e anúncio para ser encontrada, e nunca olhou as poucas linhas que dizem aos robôs se eles podem entrar. O esforço é pequeno e fica no lugar certo: um arquivo, um painel e uma decisão com dono.
Essa conferência também mostra outra coisa. Se ninguém sabe quem mexe no robots.txt, é provável que ninguém saiba quem mexe no domínio, no painel de proteção e nas contas ligadas ao site. O arquivo é só o ponto mais fácil de enxergar. Quando essa lista cresce, ela pede alguém que decida prioridade e risco e cobre a execução de quem você escolher. Esse é o trabalho de uma direção de tecnologia, interna ou contratada.
Comece hoje pelo passo 1. Abra o endereço do seu site com /robots.txt no fim, leia o que aparece e anote a data. Se a conta da camada de proteção ainda não existe ou está em nome de outra pessoa, o tutorial de como colocar um site no ar na Cloudflare mostra como criar a conta em nome da empresa.
Perguntas frequentes
Como saber se meu site está bloqueando os robôs de IA?
Abra no navegador o endereço do seu site seguido de /robots.txt. Procure os nomes dos robôs de IA, como OAI-SearchBot, GPTBot, ClaudeBot e Claude-SearchBot, e a palavra Disallow logo abaixo deles. Uma regra Disallow: / embaixo de User-agent: * pede que todos os robôs fiquem de fora, inclusive os de IA.
Liberar o robots.txt garante que a IA vai citar minha empresa?
Não garante. O robots.txt só diz quem pode ler o site. Ser citado depende do conteúdo e de critérios de cada assistente, que as empresas não publicam por inteiro. O Google escreve na própria documentação que indexar e exibir uma página não é garantido.
Posso aparecer na busca do ChatGPT sem deixar usar meu conteúdo para treino?
Pode pedir isso. Segundo a documentação da OpenAI, consultada em 13/11/2026, o dono do site pode liberar o OAI-SearchBot, que serve à busca, e barrar o GPTBot, que coleta conteúdo para treino de modelos. São robôs separados, com regras separadas no robots.txt.
O robots.txt impede alguém de copiar meu conteúdo?
Não impede. A norma que define o arquivo, a RFC 9309, afirma que as regras não são uma forma de autorização de acesso. O robots.txt é um pedido público que os robôs sérios respeitam. Conteúdo que não pode ser lido por estranhos precisa de login, e não de uma linha no robots.txt.
Uso Cloudflare. Ela pode mudar o meu robots.txt?
Pode, se um recurso estiver ligado no painel. A documentação da Cloudflare, consultada em 13/11/2026, informa que o robots.txt gerenciado acrescenta regras antes do seu arquivo quando a sincronização de preferências está ligada e alguma política de busca, agente ou treino está em bloquear. Por isso vale conferir o endereço público, e não só o arquivo da pasta.
Quanto tempo leva para uma mudança no robots.txt valer?
Depende de cada empresa. A OpenAI informa que, para os resultados de busca, os sistemas podem levar cerca de 24 horas para se ajustar depois de uma mudança no robots.txt. Para os outros robôs, a documentação que consultamos não informa prazo.