In Ihrem Log steht „Googlebot“. Finden Sie heraus, ob dies tatsächlich der Fall war. Kostenlose Überprüfung per Forward-Confirmed-Reverse DNS, ohne Registrierung.
Bot-Verifizierung
A User-Agent header is free text: any client can send "Googlebot" and most fake crawlers do. The reportedIP Bot Verification runs the method the operators themselves publish, forward-confirmed reverse DNS, and tells you whether the address behind the claim really belongs to Google, Microsoft, Apple, Yandex, Baidu, OpenAI, Perplexity or Anthropic.
Funktionsweise und Grenzen dieses Tools
Three steps. The PTR record of the address is looked up. The name that comes back is compared against the operator's own verification domains, on label boundaries, so a host called notgooglebot.com is not mistaken for googlebot.com. That name is then resolved forward, A and AAAA, and the full answer set has to contain the address the check started with.
Both halves are needed. Whoever holds an address block can write any name into its PTR record, including crawl-1.googlebot.com. What they cannot do is add that address to the forward zone of googlebot.com, which is why the forward probe is the half that decides.
Three results are kept apart. Confirmed means the name belongs to a known crawler and the forward probe agrees. Not confirmed means there is no PTR record, the forward probe failed, or the User-Agent claims a crawler that DNS does not support: this is the case to act on. Not attributable means everything resolves cleanly but the address belongs to no crawler this tool knows, which is a normal result for ordinary visitors and no defect at all.
One limit worth knowing: OpenAI, Perplexity, Anthropic and DuckDuckGo verify their crawlers through published lists of address ranges instead of reverse DNS. For those, an unconfirmed result here is not proof of a forgery, and the report says so where it applies.
Ein User-Agent ist eine Angabe, keine Tatsache
Jeder kann einen beliebigen User-Agent senden. Sich als Googlebot auszugeben, erfordert nur eine einzige Zeile Code, und Scraper tun dies ständig, da zahlreiche Websites Suchmaschinen an ihren Rate Limits und Paywalls vorbeilassen. Die Zeichenfolge in Ihrem Log ist die Angabe, die der Besucher über sich selbst macht.
Was sich nicht fälschen lässt, ist das DNS, und genau das sollen Sie laut den Suchmaschinen überprüfen.
Die von den Betreibern veröffentlichte Überprüfung
Google, Microsoft, Apple, Yandex und Baidu beschreiben alle dieselbe Methode. Suchen Sie den Reverse-Eintrag der Adresse. Prüfen Sie, ob der zurückgegebene Name zum Betreiber gehört. Führen Sie dann eine Forward-Auflösung dieses Namens durch und überprüfen Sie, ob er wieder zu derselben Adresse führt. Ein Betrüger kann höchstens eine dieser beiden Richtungen vortäuschen, da die zweite vom Betreiber und nicht vom Besucher veröffentlicht wird.
Die Falle in Schritt drei besteht darin, dass ein Name oft auf mehrere Adressen aufgelöst wird. Vergleicht man nur die erste, werden korrekte Crawler fälschlicherweise als Betrüger eingestuft; daher wird der gesamte Satz verglichen.
Crawler, die auf diese Weise nicht überprüft werden können
Die KI-Crawler wählten einen anderen Weg. OpenAI, Anthropic, Perplexity und DuckDuckGo veröffentlichen Listen der Adressbereiche, von denen aus sie crawlen, anstatt Reverse-Einträge zu pflegen. Ihre Adressen verfügen über keinerlei Reverse-Eintrag, sodass diese Methode für sie keine Antwort liefert; das Ergebnis weist darauf hin, anstatt einen echten Crawler als Betrüger zu bezeichnen.
Drei Antworten, getrennt voneinander
Bestätigt:
Die Adresse gehört zu dem Crawler, als der er sich ausgibt.
Nicht bestätigt:
Es gibt keinen Reverse-Eintrag, oder dieser führt nicht zurück, oder der User-Agent gibt einen Betreiber an, den das DNS nicht unterstützt. Dies ist der Fall, bei dem Maßnahmen ergriffen werden sollten.
Nicht zuordenbar:
Alles lässt sich korrekt auflösen, aber es handelt sich nicht um einen bekannten Crawler. Das ist kein Fehler, sondern lediglich eine fehlende Aussage.