Guías
robots.txt para bots de IA: cuáles permitir y cuáles puedes bloquear
Para aparecer en las respuestas actuales de los asistentes, permite sus bots de búsqueda y de consulta: OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, Claude-SearchBot, Claude-User, Googlebot y Bingbot. Los bots de entrenamiento como GPTBot, ClaudeBot o Google-Extended no afectan las respuestas de hoy, pero sí lo que sabrán los modelos futuros.
Bots de búsqueda frente a bots de entrenamiento
Las empresas de IA usan bots distintos para cosas distintas. Los de búsqueda indexan tu sitio para citarlo en respuestas. Los de consulta leen una página cuando un usuario lo pide. Los de entrenamiento recogen datos para modelos futuros. Bloquear todo, o permitir todo sin revisar, son decisiones gruesas.
| Token en robots.txt | Empresa | Función | Si lo bloqueas |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Búsqueda de ChatGPT | Sales de las respuestas con búsqueda |
| ChatGPT-User | OpenAI | Consulta pedida por el usuario | ChatGPT no puede abrir tu página |
| GPTBot | OpenAI | Entrenamiento | Solo afecta modelos futuros |
| PerplexityBot | Perplexity | Búsqueda e indexación | Sales de las respuestas de Perplexity |
| Perplexity-User | Perplexity | Consulta pedida por el usuario | Perplexity no puede abrir tu página |
| Claude-SearchBot | Anthropic | Búsqueda de Claude | Sales de las respuestas con búsqueda |
| Claude-User | Anthropic | Consulta pedida por el usuario | Claude no puede abrir tu página |
| ClaudeBot | Anthropic | Entrenamiento | Solo afecta modelos futuros |
| Googlebot | Búsqueda y AI Overviews | Sales de Google | |
| Google-Extended | Uso del contenido en Gemini | Depende de la política de Google | |
| Bingbot | Microsoft | Búsqueda de Bing y Copilot | Sales de Bing y Copilot |
| meta-externalagent | Meta | Entrenamiento | Solo afecta modelos futuros |
| meta-externalfetcher | Meta | Consulta de funciones de producto | Meta AI no puede abrir tu página |
| Applebot | Apple | Búsqueda, Siri y respuestas | Apple deja de leer tu sitio para sus funciones de búsqueda |
| Applebot-Extended | Apple | Control de entrenamiento | Solo afecta entrenamiento |
| CCBot | Common Crawl | Rastreo abierto usado por varios modelos | Solo afecta modelos futuros |
robots.txt recomendado
Este bloque permite a los bots de búsqueda y consulta. Ajusta los de entrenamiento según tu política de contenido.
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
Sitemap: https://TU-DOMINIO/sitemap.xmlEl firewall también cuenta
Aunque robots.txt los permita, algunos firewalls y servicios anti-bots responden con un bloqueo o un desafío a los agentes de IA. Nuestro verificador prueba tu portada con agentes reales de OpenAI y Perplexity para detectarlo.
Preguntas frecuentes
¿Qué es Google-Extended?
Es el token que Google usa para controlar si tu contenido se usa en Gemini. No es un bot distinto de Googlebot: es una instrucción en robots.txt.
¿Si no tengo robots.txt, los bots pueden entrar?
Sí. Sin robots.txt, los bots que respetan el estándar entienden que todo está permitido. Aun así conviene tenerlo para declarar tu sitemap.
¿Bloquear los bots de entrenamiento me perjudica?
No te saca de las respuestas actuales, pero reduce lo que los modelos futuros sabrán de tu marca. Es una decisión de negocio que depende de tu contenido.