Generador de
robots.txt

El robots.txt debe estar en la raíz de tu dominio: https://tudominio.com/robots.txt. Súbelo a la carpeta public_html de tu hosting. Los buscadores siempre buscan este archivo en esa ubicación exacta, si está en una subcarpeta no será leído.

Sí. Si bloqueas una URL con Disallow, Google no rastreará esa página y eventualmente la eliminará del índice. Sin embargo, si hay enlaces externos a esa URL, Google podría seguir mostrándola en resultados (sin contenido). Para eliminarla del índice de forma definitiva, usa la etiqueta noindex dentro de la página además del bloqueo en robots.txt.

User-agent: * significa que las reglas siguientes aplican a todos los bots rastreadores. Puedes usar nombres específicos como User-agent: Googlebot (solo Google), User-agent: Bingbot (solo Bing) o User-agent: GPTBot (ChatGPT). Esto te permite dar permisos diferentes a cada bot.

Para bloquear los principales AI crawlers, agrega estas reglas: User-agent: GPTBot (OpenAI/ChatGPT), User-agent: Claude-Web (Anthropic), User-agent: CCBot (Common Crawl), User-agent: Google-Extended (Google AI). Luego agrega Disallow: / debajo de cada uno para bloquear todo el sitio, o Disallow: /blog/ para una sección específica.

Crawl-delay le indica al bot cuántos segundos esperar entre solicitudes. Por ejemplo, Crawl-delay: 10 pide al bot esperar 10 segundos entre páginas. Google ignora esta directiva pero la respeta Bingbot y otros. Es útil para sitios en hostings compartidos donde el rastreo intensivo puede sobrecargar el servidor.

Sí, es una buena práctica agregar la línea Sitemap: https://tudominio.com/sitemap.xml al final del robots.txt. Esto ayuda a todos los buscadores a encontrar tu mapa del sitio automáticamente, sin necesidad de registrarlo manualmente en cada herramienta de webmaster.

Sí. Un error común es bloquear accidentalmente todo el sitio con Disallow: / bajo User-agent: *. Esto impide que Google indexe cualquier página del sitio. Siempre verifica tu robots.txt en Google Search Console → Configuración → Robots.txt antes de publicarlo.

Robots.txt controla el RASTREO (si el bot puede visitar la página). La etiqueta meta noindex controla la INDEXACIÓN (si la página aparece en resultados). Si bloqueas con robots.txt, el bot no puede leer la página y por tanto no puede ver la etiqueta noindex. Para páginas que no quieres en Google, usa noindex dentro de la página, no las bloquees en robots.txt.