Meu site está bloqueando o ChatGPT? Veja quais robôs de IA podem acessá-lo
· Organiq · fatos de terceiros com fonte e data no texto
A busca do ChatGPT deixa de mostrar uma página quando o robots.txt bloqueia o OAI-SearchBot nela; bloquear o GPTBot só tira o conteúdo do treino de modelos da OpenAI. Cole a URL abaixo: a checagem lê o robots.txt naquele caminho para 8 robôs de IA, mais o llms.txt e o JSON-LD. Sem login; o Organiq não grava a URL.
O que faz cada robô de IA checado?
Os 8 da checagem: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, Bingbot, CCBot e Applebot-Extended. Fontes oficiais lidas em 3 de novembro de 2026:
- GPTBot (OpenAI): Coleta conteúdo que pode ser usado no treino dos modelos da OpenAI. Bloqueá-lo não tira a página da busca do ChatGPT. Fonte: developers.openai.com.
- OAI-SearchBot (OpenAI): Encontra páginas para mostrar e linkar na busca do ChatGPT. Uma página que o bloqueia não aparece nas respostas da busca do ChatGPT, embora ainda possa aparecer como link de navegação. Fonte: developers.openai.com.
- ClaudeBot (Anthropic): Coleta conteúdo público que pode ser usado no treino dos modelos da Anthropic. A Anthropic documenta outros dois agentes, Claude-SearchBot (busca) e Claude-User (busca a página quando uma pessoa pergunta); esta checagem não os lista. Fonte: support.claude.com.
- PerplexityBot (Perplexity): Mostra e linka sites nos resultados de busca do Perplexity. O Perplexity diz que ele não coleta conteúdo para modelos de IA de base. Fonte: docs.perplexity.ai.
- Google-Extended (Google): Não é um rastreador separado: o Google rastreia com os robôs de sempre, e este token do robots.txt decide se esse conteúdo pode treinar os modelos Gemini e embasar as respostas deles. O Google diz que ele não afeta a inclusão nem a posição na Busca do Google. Fonte: developers.google.com.
- Bingbot (Microsoft): Rastreador da busca do Bing. O Bing controla se o conteúdo indexado aparece nas respostas do chat dele pelas meta tags NOCACHE e NOARCHIVE, não por um token próprio no robots.txt (Bing, setembro de 2023). Fonte: blogs.bing.com.
- CCBot (Common Crawl): Rastreador do Common Crawl, uma organização sem fins lucrativos cujo arquivo da web qualquer pessoa pode baixar e analisar. Fonte: commoncrawl.org.
- Applebot-Extended (Apple): Não rastreia: quem rastreia é o Applebot, e este token decide se esse conteúdo treina os modelos de base da Apple. Páginas que o bloqueiam continuam nos resultados da Siri, do Spotlight e do Safari. Fonte: support.apple.com.
Google-Extended e Applebot-Extended são tokens de controle de uso, não rastreadores: só valem dentro do robots.txt e não aparecem no log do servidor.
O que o robots.txt não controla?
- Acesso. O robots.txt é um pedido, não uma trava: "essas regras não são uma forma de autorização de acesso" (RFC 9309). Um firewall, uma regra de robôs da CDN ou um login podem barrar um robô mesmo com o robots.txt liberando; esta checagem lê os arquivos e não faz pedidos como cada robô.
- Buscas pedidas por uma pessoa. ChatGPT-User, Claude-User e Perplexity-User buscam uma página quando alguém pergunta. A OpenAI diz que as regras do robots.txt podem não valer para o ChatGPT-User, e o Perplexity diz que o Perplexity-User em geral as ignora (OpenAI, Perplexity).
- O uso no chat do Bing. Vai pelas meta tags NOCACHE e NOARCHIVE na página (Bing).
- Citação. Liberar um robô só significa que ele pode ler a página; se uma resposta a cita depende da pergunta e do conteúdo.
- O passado. Bloquear hoje não retira o que já foi coletado nem cópias em outros sites.
Como ler o resultado?
Cada robô ganha um de quatro estados para o caminho da URL que você colou:
- Liberado por regra: há um grupo
User-agentcom o nome do robô e as regras dele permitem o caminho. - Liberado (sem regra): nenhum grupo cita o robô e o grupo
User-agent: *não bloqueia o caminho, ou o site não tem robots.txt. - Bloqueado: a regra que vale para o caminho é
Disallow. - Não deu para saber: o robots.txt respondeu com erro 5xx ou não respondeu.
Regras de leitura (RFC 9309 e Google): um robô segue só o grupo que tem o nome dele; sem grupo próprio, segue o *. Entre as regras que casam com o caminho, vale a mais longa; empate entre Allow e Disallow fica com Allow. robots.txt com 404 ou outro 4xx: o robô pode ler tudo. Com 5xx: o robô deve tratar o site inteiro como bloqueado enquanto o erro durar.
Como liberar ou bloquear um robô de IA?
No /robots.txt da raiz do site, um grupo por robô. Este exemplo deixa a página aparecer na busca do ChatGPT e fora do treino da OpenAI:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /Ao criar um grupo para um robô, ele deixa de seguir o grupo *: repita nele as regras do * que ainda devem valer. Bloquear robôs de treino (GPTBot, CCBot, Google-Extended, Applebot-Extended) é uma escolha; não tira a página das buscas.
O que deve ter um llms.txt?
O llms.txt é uma proposta publicada em llmstxt.org: um arquivo Markdown em /llms.txt. O único item obrigatório é um título # Nome; depois vêm um resumo em citação (>) e seções ## com listas de links. A checagem considera válido um arquivo que responde 200, não é uma página HTML e começa com # Título, e conta os links. Ela não diz se alguma IA lê o arquivo.
# Exemplo Ltda
> Uma frase sobre o que é o site e para quem.
## Docs
- [Preços](https://exemplo.com.br/precos): planos e preços
- [Guia](https://exemplo.com.br/guia): como começarO que a checagem procura no JSON-LD?
Ela lê os blocos <script type="application/ld+json"> do HTML bruto (JSON-LD criado por JavaScript depois de carregar não entra) e lista os tipos. Numa página de conteúdo, procura um tipo citável (Article, BlogPosting, NewsArticle, TechArticle, FAQPage ou HowTo) com autor Person com url, datePublished e dateModified, e uma Organization com sameAs: é o que diz quem escreveu, quando, e quem publica. Numa home, só Organization é o esperado. Estrutura mínima de um artigo:
{
"@context": "https://schema.org",
"@type": "Article",
"headline": "Como escolher um CRM",
"datePublished": "2026-10-01",
"dateModified": "2026-11-03",
"author": { "@type": "Person", "name": "Ana Lima", "url": "https://exemplo.com.br/ana" },
"publisher": { "@type": "Organization", "name": "Exemplo Ltda", "url": "https://exemplo.com.br",
"sameAs": ["https://www.linkedin.com/company/exemplo"] }
}Em que esta checagem difere de outros verificadores grátis, e qual é a exceção?
- robots.txt no caminho exato da página, llms.txt e o JSON-LD de citação num resultado só. Comparação: dos cinco verificadores grátis abertos em 3 de novembro de 2026, nenhum diz ler llms.txt ou JSON-LD na mesma checagem. O GEO Toolbox (34 robôs) lê o robots.txt só para o caminho da home e manda o llms.txt para outra ferramenta; o Elementera lê um robots.txt colado, nos caminhos que você lista; o Backlinko e o Trakkr leem só o robots.txt, e o Backlinko libera 3 checagens por dia. Exceção: eles cobrem mais robôs (o Trakkr lista 94), o Elementera também testa caminhos escolhidos, e o 365i faz pedidos ao vivo como cada robô na home, o que pega bloqueio de firewall e CDN que esta checagem não vê. Onde ver: na resposta direta acima e no resultado, em três seções nesta ordem: robôs de IA, llms.txt, JSON-LD.
Perguntas frequentes
Se eu bloquear o GPTBot, meu site some do ChatGPT?
Não. A OpenAI documenta o GPTBot para treino de modelos e o OAI-SearchBot para a busca do ChatGPT; cada regra do robots.txt é independente. Para ficar fora do treino e dentro da busca, bloqueie o GPTBot e libere o OAI-SearchBot.
Bloquear o Google-Extended tira meu site da Busca do Google?
Não. O Google diz que o Google-Extended não afeta a inclusão nem a posição na Busca. Ele só decide se o conteúdo rastreado pelo Google pode treinar e embasar os modelos Gemini.
O robots.txt libera um robô; por que ele ainda não consegue ler minhas páginas?
O robots.txt é um pedido, não uma trava. Um firewall, uma regra de robôs da CDN ou um login podem barrar o robô mesmo com o robots.txt liberando. Esta checagem lê os arquivos; não faz pedidos como cada robô.
E se o meu site não tiver robots.txt?
Quando o robots.txt responde 404 ou outro 4xx, os robôs podem ler tudo (RFC 9309), e os 8 aparecem como liberados sem regra. Quando responde 5xx, os robôs devem tratar o site inteiro como bloqueado até ele voltar; a checagem mostra "não deu para saber".
O Organiq guarda a URL que eu checo?
Não. A checagem roda quando você envia e o resultado existe só naquela página; a URL não vai para o banco do Organiq, e o Google Analytics da página de resultado recebe o endereço sem a URL digitada. O limite de uso mantém o seu IP só na memória do servidor, sem gravar em banco nem em arquivo, e o descarta depois de um minuto.
A checagem é grátis? Tem limite?
É grátis e não pede login. O limite é de cerca de 8 checagens por minuto por conexão.
Liberar os robôs de IA faz as respostas de IA citarem meu site?
Não há garantia. Liberar um robô só significa que ele pode ler a página; a citação depende da pergunta e do conteúdo. O Search Console mostra as buscas do Google em que a página aparece.
Por quais buscas as pessoas chegam ao site?
O robots.txt diz quem pode ler uma página; não diz por quais buscas as pessoas chegam a ela. O Google Search Console diz, para sites que você verificou: impressões, cliques, CTR e posição média por busca e por página. Guia: conectar o Search Console ao Organiq.
As mesmas checagens na página aberta no Chrome: a extensão grátis Organiq GEO.