Token de producto detectado:
Analizador de user-agent
Cómo decide RFC 9309
- Elige el grupo cuyo User-agent coincide con el token de producto (sin distinguir mayúsculas). Si varios coinciden se combinan. Si ninguno coincide, usa el grupo *.
- Dentro del grupo gana la regla con la ruta coincidente más larga. En empate gana Allow.
- * coincide con cualquier secuencia; $ ancla el final de la ruta.
- Crawl-delay no forma parte del estándar pero muchos rastreadores lo respetan; un bot educado debería.
robots.txt es una petición, no un control de acceso. No sustituye a los términos de servicio, la autenticación ni la limitación de peticiones.
Relacionado: guía de ética del scraping, códigos HTTP.