Vérification des bots
A User-Agent header is free text: any client can send "Googlebot" and most fake crawlers do. The reportedIP Bot Verification runs the method the operators themselves publish, forward-confirmed reverse DNS, and tells you whether the address behind the claim really belongs to Google, Microsoft, Apple, Yandex, Baidu, OpenAI, Perplexity or Anthropic.
Fonctionnement de cet outil et ses limites
Three steps. The PTR record of the address is looked up. The name that comes back is compared against the operator's own verification domains, on label boundaries, so a host called notgooglebot.com is not mistaken for googlebot.com. That name is then resolved forward, A and AAAA, and the full answer set has to contain the address the check started with.
Both halves are needed. Whoever holds an address block can write any name into its PTR record, including crawl-1.googlebot.com. What they cannot do is add that address to the forward zone of googlebot.com, which is why the forward probe is the half that decides.
Three results are kept apart. Confirmed means the name belongs to a known crawler and the forward probe agrees. Not confirmed means there is no PTR record, the forward probe failed, or the User-Agent claims a crawler that DNS does not support: this is the case to act on. Not attributable means everything resolves cleanly but the address belongs to no crawler this tool knows, which is a normal result for ordinary visitors and no defect at all.
One limit worth knowing: OpenAI, Perplexity, Anthropic and DuckDuckGo verify their crawlers through published lists of address ranges instead of reverse DNS. For those, an unconfirmed result here is not proof of a forgery, and the report says so where it applies.
Un User-Agent est une déclaration, pas une réalité
N'importe quel programme peut envoyer n'importe quel User-Agent. Se présenter comme Googlebot ne nécessite qu'une ligne de code, et les robots de collecte de données le font constamment, car de nombreux sites permettent ainsi aux moteurs de recherche de contourner leurs Rate Limits et leurs barrières payantes. La chaîne de caractères figurant dans votre journal correspond à la description que le visiteur donne de lui-même.
Ce qui ne peut pas être falsifié, c’est le DNS, et c’est ce que les moteurs de recherche vous conseillent de vérifier.
La vérification recommandée par les opérateurs
Google, Microsoft, Apple, Yandex et Baidu décrivent tous la même méthode. Recherchez l’enregistrement inverse de l’adresse. Vérifiez si le nom renvoyé appartient bien à l’opérateur. Résolvez ensuite ce nom en sens direct et vérifiez qu’il ramène à la même adresse. Un imposteur ne peut simuler qu’au maximum l’une de ces deux directions, car la seconde est publiée par l’opérateur, et non par le visiteur.
Le piège de l’étape trois réside dans le fait qu’un nom se résout souvent en plusieurs adresses. Comparer uniquement la première revient à marquer les robots d’indexation légitimes comme des faux ; c’est pourquoi l’ensemble complet est comparé.
Les robots d’indexation qui ne peuvent pas être vérifiés de cette manière
Les robots d’indexation basés sur l’IA ont adopté une approche différente. OpenAI, Anthropic, Perplexity et DuckDuckGo publient des listes des plages d’adresses à partir desquelles ils effectuent leur exploration, au lieu de gérer des enregistrements inversés. Leurs adresses ne disposent d’aucun enregistrement inversé ; cette méthode ne renvoie donc aucune réponse pour celles-ci, et le résultat l’indique clairement, plutôt que de qualifier un véritable robot d’indexation d’imposteur.
Trois types de réponses, bien distincts
Confirmé :
l’adresse appartient bien au robot d’indexation qu’elle prétend être.
Non confirmé :
il n’y a pas d’enregistrement inverse, ou celui-ci ne renvoie pas à l’adresse source, ou l’User-Agent indique un opérateur que le DNS ne prend pas en charge. C’est sur ce cas qu’il convient d’agir.
Non attribuable :
tout se résout correctement, mais il ne s’agit pas d’un robot d’indexation connu. Ce n’est pas un défaut, simplement l’absence de conclusion.