In Ihrem Log steht „Googlebot“. Finden Sie heraus, ob dies tatsächlich der Fall war. Kostenlose Überprüfung per Forward-Confirmed-Reverse DNS, ohne Registrierung.
Ein User-Agent-Header ist Freitext: Jeder Client kann „Googlebot“ senden, und die meisten gefälschten Crawler tun dies auch. Die „ReportedIP“-Bot-Überprüfung wendet die von den Betreibern selbst veröffentlichte Methode an, die vorwärtsbestätigte Reverse DNS, und teilt Ihnen mit, ob die hinter der Angabe stehende Adresse tatsächlich zu Google, Microsoft, Apple, Yandex, Baidu, OpenAI, Perplexity oder Anthropic gehört.
Jeder kann einen beliebigen User-Agent senden. Sich als Googlebot auszugeben, erfordert nur eine einzige Zeile Code, und Scraper tun dies ständig, da zahlreiche Websites Suchmaschinen an ihren Rate Limits und Paywalls vorbeilassen. Die Zeichenfolge in Ihrem Log ist die Angabe, die der Besucher über sich selbst macht.
Was sich nicht fälschen lässt, ist das DNS, und genau das sollen Sie laut den Suchmaschinen überprüfen.
Google, Microsoft, Apple, Yandex und Baidu beschreiben alle dieselbe Methode. Suchen Sie den Reverse-Eintrag der Adresse. Prüfen Sie, ob der zurückgegebene Name zum Betreiber gehört. Führen Sie dann eine Forward-Auflösung dieses Namens durch und überprüfen Sie, ob er wieder zu derselben Adresse führt. Ein Betrüger kann höchstens eine dieser beiden Richtungen vortäuschen, da die zweite vom Betreiber und nicht vom Besucher veröffentlicht wird.
Die Falle in Schritt drei besteht darin, dass ein Name oft auf mehrere Adressen aufgelöst wird. Vergleicht man nur die erste, werden korrekte Crawler fälschlicherweise als Betrüger eingestuft; daher wird der gesamte Satz verglichen.
Die KI-Crawler wählten einen anderen Weg. OpenAI, Anthropic, Perplexity und DuckDuckGo veröffentlichen Listen der Adressbereiche, von denen aus sie crawlen, anstatt Reverse-Einträge zu pflegen. Ihre Adressen verfügen über keinerlei Reverse-Eintrag, sodass diese Methode für sie keine Antwort liefert; das Ergebnis weist darauf hin, anstatt einen echten Crawler als Betrüger zu bezeichnen.
Bestätigt:
Die Adresse gehört zu dem Crawler, als der er sich ausgibt.
Nicht bestätigt:
Es gibt keinen Reverse-Eintrag, oder dieser führt nicht zurück, oder der User-Agent gibt einen Betreiber an, den das DNS nicht unterstützt. Dies ist der Fall, bei dem Maßnahmen ergriffen werden sollten.
Nicht zuordenbar:
Alles lässt sich korrekt auflösen, aber es handelt sich nicht um einen bekannten Crawler. Das ist kein Fehler, sondern lediglich eine fehlende Aussage.
Drei Schritte. Der PTR-Eintrag der Adresse wird abgefragt. Der zurückgegebene Name wird anhand der Label-Grenzen mit den betreibereigenen Verifizierungsdomänen abgeglichen, damit ein Host namens „notgooglebot.com“ nicht mit „googlebot.com“ verwechselt wird. Dieser Name wird anschließend vorwärts aufgelöst (A und AAAA), und der vollständige Antwortsatz muss die Adresse enthalten, mit der die Überprüfung begonnen hat.
Beide Aspekte sind erforderlich. Wer einen Adressblock besitzt, kann in dessen PTR-Eintrag einen beliebigen Namen eintragen, einschließlich „crawl-1.googlebot.com“. Was er jedoch nicht tun kann, ist, diese Adresse zur Forward-Zone von „googlebot.com“ hinzuzufügen; daher ist die Forward-Probe der entscheidende Faktor.
Drei Ergebnisse werden getrennt behandelt. „Bestätigt“ bedeutet, dass der Name zu einem bekannten Crawler gehört und die Forward-Probe dies bestätigt. „Nicht bestätigt“ bedeutet, dass kein PTR-Eintrag vorliegt, die Forward-Probe fehlgeschlagen ist oder der User-Agent einen Crawler angibt, den das DNS nicht unterstützt: In diesem Fall sind Maßnahmen erforderlich. „Nicht zuordenbar“ bedeutet, dass alles einwandfrei aufgelöst wird, die Adresse jedoch keinem diesem Tool bekannten Crawler zugeordnet werden kann; dies ist ein normales Ergebnis für gewöhnliche Besucher und stellt keinerlei Fehler dar.
Eine Einschränkung, die Sie beachten sollten: OpenAI, Perplexity, Anthropic und DuckDuckGo überprüfen ihre Crawler anhand veröffentlichter Listen von Adressbereichen anstelle von Reverse DNS. Bei diesen Anbietern ist ein unbestätigtes Ergebnis hier kein Beweis für eine Fälschung, und der Bericht weist entsprechend darauf hin, wo dies zutrifft.