OAI-SearchBot
OAI-SearchBot é o rastreador da OpenAI que encontra páginas para os resultados de busca do ChatGPT, separado do GPTBot, que coleta conteúdo para treinar modelos.
A OpenAI documenta 3 agentes com papéis diferentes: OAI-SearchBot para busca, GPTBot para treino e ChatGPT-User para visitas pedidas por usuários (OpenAI).
Exemplo
Cada controle é independente: dá para liberar o OAI-SearchBot e bloquear o GPTBot (OpenAI). No robots.txt, fica assim:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /O robô se identifica como OAI-SearchBot/1.4 no user agent, e a OpenAI publica as faixas de IP em searchbot.json (OpenAI). Com os dois, dá para separar o robô real de um impostor nos logs do servidor.
Por que importa
Sites que bloqueiam o OAI-SearchBot não aparecem nas respostas de busca do ChatGPT, só como links de navegação (OpenAI). Depois de uma mudança no robots.txt, os sistemas da OpenAI levam cerca de 24 horas para se ajustar (OpenAI).
Antes de medir citação no ChatGPT, confiro esse acesso. O passo a passo está em como medir citação no ChatGPT, e o serviço, em GEO.