# ---------------------------------------------------------------------------
# UN SOLO GRUPO POR AGENTE
#
# Hasta hoy había DOS bloques `User-agent: *`: el primero con `Disallow:` y el
# segundo con `Crawl-delay: 1`. Google fusiona los grupos repetidos, pero no
# todos los rastreadores lo hacen: varios se quedan con el primero que
# encuentran y nunca llegaban a ver el ritmo de rastreo. Ahora va todo junto.
#
# RITMO DE RASTREO
#
# `Crawl-delay` se añadió porque el nodo llegó al 100 % de CPU y el hosting
# apuntó a los rastreadores como una de las causas. Pide un segundo de espera
# entre peticiones: no frena la indexación —se sigue rastreando el sitio
# entero— pero evita las ráfagas que levantan diez procesos de PHP a la vez.
#
# GOOGLE NO LEE ESTA DIRECTIVA. Google se regula solo y, si hace falta
# frenarlo, se hace desde Search Console. Bing, Yandex, Seznam y la mayoría
# de los demás sí la respetan, y son los que suelen ir a ráfagas.
# ---------------------------------------------------------------------------

# LAS PÁGINAS DEL EMBUDO NO SE BLOQUEAN AQUÍ, SE MARCAN `noindex`.
#
# Bloquearlas en este fichero sería contraproducente: Google no podría
# entrar a leer la etiqueta `noindex` y las dejaría indexadas igual, sólo
# que sin descripción. `/search-results`, `/register`, `/processing`,
# `/thank-you`, `/cancel`, `/my-reservation-detail` y `/payment` salen
# ahora con `noindex` desde config/seo.php.

User-agent: *
Crawl-delay: 1
Disallow: /clear-cache
Allow: /

# ---------------------------------------------------------------------------
# LOS QUE NO TRAEN CLIENTES
#
# Rastrean para alimentar bases de datos de SEO de terceros, no para traer
# visitas. Con el nodo justo de CPU, su tráfico es coste sin retorno.
# ---------------------------------------------------------------------------

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

Sitemap: https://taxishuttlecancun.com/sitemap.xml