AubeInsightBot
Le robot d'AubeInsight
Quand un client d'AubeInsight demande l'analyse d'un site, notre robot visite sa page d'accueil comme le ferait un navigateur, une seule fois, à la demande de ce client ou à la fréquence de surveillance qu'il a choisie.
Agent utilisateur
Mozilla/5.0 (compatible; AubeInsightBot/0.1; +https://insight.aubeetoilee.com/robot)
Ce que fait le robot
- Il télécharge la page d'accueil, robots.txt, le plan du site, l'icône du site et jusqu'à 25 autres pages trouvées par les liens ou le plan du site.
- Il respecte les règles de robots.txt (Disallow, Allow, Crawl-delay) pour AubeInsightBot ou pour tous les robots, et vérifie au plus quelques dizaines de liens et de ressources, quelques requêtes à la fois.
- Il ne remplit aucun formulaire, ne se connecte à rien et ne cherche aucune faille.
- Il ne visite que des adresses publiques, sur les ports 80 et 443.
- Chaque requête a un délai maximal et une taille maximale.
Refuser le robot
Si votre fichier robots.txt refuse AubeInsightBot pour tout le site, aucune analyse de votre site n'est faite :
User-agent: AubeInsightBot Disallow: /
Une question ou un souci : support@aubemail.com.