Faux Googlebot et crawlers IA : les identifier dans vos logs avant de les bloquer

Ne vous fiez pas au seul user-agent pour identifier ou autoriser un bot. Validez Googlebot par double résolution DNS, mesurez son activité dans les logs, puis appliquez des limites ciblées aux clients non vérifiés et aux routes coûteuses.

Cette approche évite de laisser un scraper surcharger le serveur tout en préservant l’exploration de Google. Les logs permettent de relier l’IP, le user-agent déclaré, les URL demandées et le comportement réel côté serveur.

Identifier les faux bots

Un client peut envoyer un en-tête User-Agent intitulé Googlebot, GPTBot ou ClaudeBot sans appartenir à l’infrastructure annoncée. Un faux Googlebot ressemble donc au crawler légitime dans les logs tant que son adresse IP n’est pas vérifiée.

Ne concluez pas qu’un bot consomme le budget de crawl Google parce qu’il augmente le trafic serveur. Le budget de crawl concerne l’exploration de Google ; un scraper peut surtout dégrader les temps de réponse et augmenter les erreurs 5xx.

Valider Googlebot par DNS

Google recommande une double vérification DNS, à partir de l’IP observée dans le log. Elle comprend une résolution inverse, puis une résolution directe du nom d’hôte obtenu.

Effectuez une résolution inverse de l’adresse IP de la requête.
Vérifiez que le nom d’hôte retourné se termine par googlebot.com ou google.com.
Résolvez ensuite ce nom d’hôte vers une adresse IP.
Confirmez que cette résolution directe retourne l’IP initiale.

Google décrit cette procédure dans son guide officiel de vérification de Googlebot. Un user-agent conforme, un nom d’hôte seul ou une seule résolution DNS ne suffisent pas.

Conservez le résultat avec l’IP, la date et le volume de requêtes. Le user-agent reste utile pour segmenter les rapports, mais il ne doit pas à lui seul déclencher une exception dans un WAF ou une règle CDN.

Analyser la charge avant de filtrer

Regroupez les requêtes par IP, user-agent déclaré et, pour Google, statut de validation DNS. Analysez aussi les URL demandées, les codes HTTP et la vitesse de réponse dans vos logs SEO.

Nombre de requêtes par heure ou par jour, pour repérer les pics.
Octets envoyés, notamment pour les images, exports et pages lourdes.
Codes HTTP : 200, redirections, 404, 429 et 5xx.
URL et répertoires ciblés, pour identifier les recherches internes, filtres, API ou pages de pagination.
Cadence par IP, simultanéité et temps de réponse, si le format de log les contient.

Si un Googlebot validé rencontre de nombreux 5xx sur des pages stratégiques, corrigez en priorité la capacité ou le cache. Si un client non validé demande intensivement des URL coûteuses, une limite de débit est plus adaptée qu’une exception fondée sur son user-agent.

Filtrer sans gêner Googlebot

Excluez uniquement les Googlebots validés des protections destinées aux bots. Les clients non vérifiés, y compris ceux qui déclarent Googlebot, doivent rester soumis aux contrôles de sécurité et de débit.

Dans Cloudflare, un WAF ou un CDN équivalent, combinez plusieurs signaux : fréquence des requêtes, chemins coûteux, erreurs répétées et statut de bot vérifié fourni par le prestataire. N’utilisez pas la chaîne User-Agent comme seule condition.

Appliquez un rate limiting à la recherche interne, aux endpoints d’API publics et aux pages de facettes.
Retournez 429 Too Many Requests lorsqu’une limite temporaire est dépassée.
Bloquez les IP ou signatures qui persistent dans un comportement abusif après observation.
Testez les règles sur un périmètre limité, puis surveillez les 429, 403 et 5xx.

Le fichier robots.txt indique aux crawlers coopératifs les zones à ne pas explorer, mais ne bloque pas un scraper malveillant. Après chaque changement, contrôlez les requêtes de Googlebot validé, les erreurs, la latence et la charge des URL concernées.