Construye un archivo robots.txt con grupos de user-agent, reglas Allow/Disallow, comentarios y sitemaps, con presets seguros, o pega un archivo existente para analizarlo. Incluye un comprobador que indica si una ruta concreta está permitida o bloqueada para un user-agent dado, con la regla y el grupo que aplica. robots.txt controla el rastreo, pero no protege contenido privado ni garantiza que una URL desaparezca de los buscadores.
Sitemaps
Comprobador de rutas
✓ Permitido
La regla más específica que coincide es "Allow: /" del grupo para "*".
robots.txt controla el rastreo, pero no protege contenido privado ni garantiza que una URL desaparezca de los buscadores.
Los datos se procesan en tu dispositivo y no se envían al servidor.