Le visiteur n'était pas le robot d'indexation qu'il prétendait être
Dans ce cas, cette adresse mérite d’être vérifiée et signalée. Quinze listes répondent à la première partie de la question.
Vérification de la blacklist DNSBL →Vérification des bots
Pourquoi un user agent ne prouve rien
L’en-tête User-Agent est un champ libre : n’importe quel client peut envoyer « Googlebot », ce que font la plupart des faux robots d’indexation. La vérification de bot ReportedIP utilise la méthode publiée par les opérateurs eux-mêmes, à savoir le Reverse DNS confirmé en amont, et vous indique si l’adresse derrière la revendication appartient réellement à Google, Microsoft, Apple, Yandex, Baidu, OpenAI, Perplexity ou Anthropic.
Un User-Agent est une déclaration, pas une réalité
N'importe quel programme peut envoyer n'importe quel User-Agent. Se présenter comme Googlebot ne nécessite qu'une ligne de code, et les robots de collecte de données le font constamment, car de nombreux sites permettent ainsi aux moteurs de recherche de contourner leurs Rate Limits et leurs barrières payantes. La chaîne de caractères figurant dans votre journal correspond à la description que le visiteur donne de lui-même.
Ce qui ne peut pas être falsifié, c’est le DNS, et c’est ce que les moteurs de recherche vous conseillent de vérifier.
La vérification recommandée par les opérateurs
Google, Microsoft, Apple, Yandex et Baidu décrivent tous la même méthode. Recherchez l’enregistrement inverse de l’adresse. Vérifiez si le nom renvoyé appartient bien à l’opérateur. Résolvez ensuite ce nom en sens direct et vérifiez qu’il ramène à la même adresse. Un imposteur ne peut simuler qu’au maximum l’une de ces deux directions, car la seconde est publiée par l’opérateur, et non par le visiteur.
Le piège de l’étape trois réside dans le fait qu’un nom se résout souvent en plusieurs adresses. Comparer uniquement la première revient à marquer les robots d’indexation légitimes comme des faux ; c’est pourquoi l’ensemble complet est comparé.
Les robots d’indexation qui ne peuvent pas être vérifiés de cette manière
Les robots d’indexation basés sur l’IA ont adopté une approche différente. OpenAI, Anthropic, Perplexity et DuckDuckGo publient des listes des plages d’adresses à partir desquelles ils effectuent leur exploration, au lieu de gérer des enregistrements inversés. Leurs adresses ne disposent d’aucun enregistrement inversé ; cette méthode ne renvoie donc aucune réponse pour celles-ci, et le résultat l’indique clairement, plutôt que de qualifier un véritable robot d’indexation d’imposteur.
Trois types de réponses, bien distincts
Confirmé :
l’adresse appartient bien au robot d’indexation qu’elle prétend être.
Non confirmé :
il n’y a pas d’enregistrement inverse, ou celui-ci ne renvoie pas à l’adresse source, ou l’User-Agent indique un opérateur que le DNS ne prend pas en charge. C’est sur ce cas qu’il convient d’agir.
Non attribuable :
tout se résout correctement, mais il ne s’agit pas d’un robot d’indexation connu. Ce n’est pas un défaut, simplement l’absence de conclusion.
Fonctionnement de cet outil et ses limites
Trois étapes. L’enregistrement PTR de l’adresse est recherché. Le nom renvoyé est comparé aux domaines de vérification propres à l’opérateur, en tenant compte des limites des étiquettes, afin qu’un hôte nommé notgooglebot.com ne soit pas confondu avec googlebot.com. Ce nom fait ensuite l’objet d’une résolution directe (enregistrements A et AAAA), et l’ensemble complet des réponses doit contenir l’adresse à partir de laquelle la vérification a été lancée.
Les deux parties sont indispensables. Quiconque détient un bloc d’adresses peut inscrire n’importe quel nom dans son enregistrement PTR, y compris « crawl-1.googlebot.com ». Ce qu’il ne peut pas faire, c’est ajouter cette adresse à la zone « forward » de googlebot.com ; c’est pourquoi c’est la partie « forward probe » qui est déterminante.
Trois types de résultats sont distingués. « Confirmé » signifie que le nom appartient à un robot d’indexation connu et que la vérification de redirection aboutit. « Non confirmé » signifie qu’il n’y a pas d’enregistrement PTR, que la vérification de redirection a échoué ou que l’User-Agent indique un robot d’indexation que le DNS ne prend pas en charge : c’est dans ce cas qu’il faut intervenir. « Non attribuable » signifie que tout se résout correctement, mais que l’adresse n’appartient à aucun robot d’indexation connu de cet outil, ce qui est un résultat normal pour les visiteurs ordinaires et ne constitue en aucun cas un dysfonctionnement.
Une limite qu’il convient de connaître : OpenAI, Perplexity, Anthropic et DuckDuckGo vérifient leurs robots d’indexation à l’aide de listes publiées de plages d’adresses plutôt que par le biais du Reverse DNS. Dans ces cas-là, un résultat non confirmé présenté ici ne constitue pas une preuve de falsification, et le rapport le précise lorsque cela s’applique.