Cómo Desbloquear GPTBot, OAI-SearchBot, ClaudeBot y PerplexityBot en robots.txt y Cloudflare
Evita el error #1 que deja invisible al 68% de los sitios web en ChatGPT y Perplexity: configura permisos granulares para crawlers de IA sin exponer rutas privadas.
# Permisos para Buscadores de IA — Generado por CiteMy.site User-agent: GPTBot Allow: / Disallow: /api/ Disallow: /admin/ User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Google-Extended Allow: / Sitemap: https://tudominio.com/sitemap.xml
Guía de Implementación Paso a Paso
1. Diferencia entre bots de entrenamiento y bots de búsqueda en vivo
OpenAI utiliza OAI-SearchBot y ChatGPT-User para buscar y citar páginas en tiempo real cuando un usuario hace una pregunta, y GPTBot para indexación general. Si bloqueas todos los bots por defecto en tu robots.txt o firewall, ChatGPT jamás podrá citar tu URL.
2. El bloqueo silencioso de Cloudflare WAF ('Block AI Bots')
Muchos sitios tienen un robots.txt permisivo pero activaron por error la opción 'Block AI Scrapers and Crawlers' en Cloudflare Security > Bots. Asegúrate de permitir explícitamente los User-Agents verificados de OpenAI, Anthropic y Perplexity.
3. Protege tus rutas privadas mientras abres tu contenido público
Usa directivas Disallow: /api/ y Disallow: /admin/ debajo de cada User-agent de IA para proteger tus endpoints internos mientras permites Allow: / en tus páginas comerciales y en /llms.txt.
Preguntas Frecuentes
¿Qué pasa si tengo User-agent: * con Disallow: /?
Todos los motores de búsqueda tradicionales y de IA quedarán bloqueados. Debes declarar reglas explícitas Allow: / para los bots de búsqueda generativa.
¿Desbloquear estos bots afecta la velocidad de mi servidor?
No. Los bots de citación como OAI-SearchBot y PerplexityBot respetan las cabeceras de caché y priorizan archivos ligeros como /llms.txt.
Genera e instala estos archivos en 30 segundos
Escanea tu dominio gratis en CiteMy.site y obtén tu Kit completo (llms.txt, llms-full.txt, schema.jsonld y robots.txt) adaptado automáticamente a tu negocio.