Generador de robots.txt
Crea un robots.txt en tu navegador con reglas Allow y Disallow por bot, crawl-delay, sitemap y presets para bloquear rastreadores de IA.
Reglas de rastreo
Opciones adicionales
Robots.txt generado
Introduce reglas y genera robots.txt.Qué controla el archivo robots.txt
robots.txt es un archivo de texto en la raíz del dominio que indica a los rastreadores qué rutas pueden pedir. No es un mecanismo de seguridad —un rastreador que lo ignore puede leer URLs públicas— pero todos los buscadores importantes y la mayoría de rastreadores de IA lo consultan antes de descargar.
El archivo se compone de grupos. Cada grupo empieza por una o varias líneas User-agent y continúa con reglas Allow y Disallow que solo se aplican a esos agentes. Cuando ambas coinciden con una URL gana la regla más larga, por eso una regla Allow más específica puede abrir una excepción dentro de una carpeta bloqueada.
Cómo generar un robots.txt
- Elige un preset —permitir todo, bloquear todo o bloquear rastreadores de IA— o parte del grupo por defecto y edítalo.
- En cada grupo, define el user-agent y lista las rutas que quieres permitir o bloquear, una por línea.
- Añade de forma opcional un crawl-delay y la URL absoluta de tu sitemap.
- Pulsa Generar robots.txt, descarga el archivo y súbelo a la raíz del dominio para que responda en /robots.txt.
Ejemplos de robots.txt
Sitio público normal
User-agent: * sin líneas Allow ni Disallow, más Sitemap
User-agent: * y Disallow: vacío seguido de una línea Sitemap, es decir todo es rastreable
Entorno de pruebas
Preset bloquear todo
User-agent: * y Disallow: /, que mantiene todo el host fuera de los resultados
Bloquear rastreadores de IA
Preset bloquear rastreadores de IA
Seis grupos, uno por agente (GPTBot, CCBot, Google-Extended, anthropic-ai, ClaudeBot, PerplexityBot), cada uno con Disallow: /
UrsaKit frente a otras herramientas de robots.txt
| Criterio | UrsaKit | smallseotools | technicalseo | A mano |
|---|---|---|---|---|
| Precio | Gratis, sin registro | Gratis con anuncios | Gratis | Gratis |
| Se ejecuta en | Tu navegador | Su servidor | Su servidor | Tu editor |
| Reglas por bot | Sí | Solo permitir/denegar todo | Es un validador, no un generador | Manual |
| Preset de rastreadores de IA | Sí, seis agentes | No | No | Manual |
| Normalización de rutas | Sí, añade la barra | No | No | Manual |
| Test de rastreo en vivo | No, salida estática | No | Sí | No |
Preguntas frecuentes
¿Este generador de robots.txt es gratis?
Sí. Generar, copiar y descargar el archivo es gratis, sin cuenta y sin límite.
¿Se suben mis datos?
No. El archivo se construye con JavaScript en tu navegador, así que tus rutas y URLs de sitemap no salen del dispositivo.
¿Qué gana cuando Allow y Disallow coinciden?
Gana la regla más larga. Por eso un Disallow: /admin/ se puede exceptuar para una ruta concreta con Allow: /admin/public/.
¿De verdad aleja a los rastreadores de IA?
Detiene a los que deciden respetarlo, hoy GPTBot, CCBot, Google-Extended, Anthropic y Perplexity. Es una petición, no un bloqueo técnico: un rastreador que lo ignore puede seguir leyendo páginas públicas.
¿Debo listar el sitemap aquí?
Sí, es el lugar convencional. Añade una URL absoluta por línea y cada una será una entrada Sitemap; también puedes enviarlo en Search Console.
¿Cuánto tarda en aplicarse?
Los rastreadores suelen releer robots.txt en menos de un día, pero las páginas ya indexadas siguen ahí hasta que se vuelven a rastrear, así que quitar una página de Google es un paso aparte.