Supprimer le trafic de bots Selenium et Puppeteer dans Google Analytics

Modifié :

Dans cet autre article, j’explique comment supprimer le trafic de bots dans GA4.

C’est une version mise à jour pour le nouvel outil de Google de ce même article.

Aujourd’hui, on part sur un nouveau cas réel qui nous est arrivé ces dernières semaines. Dans ce cas, comme l’indique le titre, il s’agit du trafic qu’un ou plusieurs bots injectaient dans notre compte Google Analytics et que celui-ci n’était pas capable de filtrer tout seul.

Il faut préciser qu’il s’agit ici d’un trafic réel qui accédait au site, pas du referral spam habituel qui utilise le protocole de mesure pour manipuler les métriques de notre outil de mesure.

Vous vous demandez peut-être que, si c’est du trafic réel, pourquoi vouloir le supprimer de notre outil. La réponse est simple et nette : il peut nous amener à prendre de mauvaises décisions business à cause de données erronées/corrompues.

Entrons donc dans le cas.

Le problème

Depuis quelques semaines déjà, plus précisément depuis le début de l’année, nous avions détecté, aussi bien dans notre reporting quotidien que mensuel, que quelque chose d’étrange se passait et que le nombre d’utilisateurs par rapport aux sessions avait considérablement augmenté :

Comme on peut le voir, nous avions augmenté de 104 % en sessions et de 114 % en utilisateurs Year on Year. En principe, ces chiffres pouvaient entrer dans le raisonnable et, à première vue, nous les avons attribués aux changements du blocage des cookies tiers par Chrome et Safari et à l’utilisation accrue des Adblockers par les utilisateurs (c’étaient les deux principaux navigateurs responsables de cette croissance anormale entre utilisateurs et sessions) et nous avons simplement pensé que c’étaient les nouvelles règles du jeu.

Analyse plus détaillée du trafic

Mais les jours ont passé et certaines choses commençaient à coller encore moins dans notre reporting quotidien par pays. Les Pays-Bas devenaient l’un des principaux pays en nombre d’utilisateurs, mais le ratio d’entrée au checkout et les transactions de leurs utilisateurs étaient très inférieurs à ce qu’ils auraient dû être pour ce volume de trafic :

Que se passe-t-il ? Évaluons quelques hypothèses business :

• Nos frais de livraison sont-ils trop élevés pour une livraison aux Pays-Bas ? Peut-être est-il possible de parler avec l’agence de transport et de baisser les prix en échange d’un volume plus important garanti.
• Les utilisateurs néerlandais naviguent-ils en anglais mais préfèrent-ils acheter sur des pages dans leur propre langue ? Eh bien, il ne serait peut-être pas idiot d’envisager la traduction du site en néerlandais…
• Ne font-ils pas confiance à l’Europe du Sud ? Ici, on ne peut pas faire grand-chose XD

Toutes pourraient être valables, mais concentrons-nous sur le trafic provenant des Pays-Bas :

Que se passe-t-il ? Comment la croissance entre utilisateurs et sessions peut-elle autant différer ? Les utilisateurs néerlandais sont-ils beaucoup plus enclins à utiliser des adblockers que le reste de l’Europe ? Ça n’en a pas l’air, non ? Notre première hypothèse vacillait…

Poursuivons donc l’analyse du pays, pour voir ce que l’on trouve en tirant le fil.

Canal

Nous avons créé un segment pour voir exclusivement les métriques des utilisateurs néerlandais et nous allons dans les rapports principaux, en commençant par la source et le support :

Évidemment, ce qui se passe avec le trafic direct n’est pas normal. Nous ne savons pas exactement ce que c’est, mais cela ne ressemble pas à un comportement utilisateur normal.

Page de destination

Vérifions à quelles pages de destination accèdent les « utilisateurs » néerlandais :

Donc Analytics n’est pas capable de récupérer la landing page dans la plupart des cas… Cela nous fait déjà penser que nous sommes face à un bot avec un niveau de sophistication plus élevé que les habituels. Mais continuons à regarder d’autres choses

Pays

Ce que nous avons vu aux Pays-Bas peut-il se produire dans d’autres pays ? Il faut vérifier :

Eh bien, eh bien, ce bot. Donc il ne vient pas seulement des Pays-Bas, mais il entre sur notre site depuis plusieurs emplacements et il flingue les métriques de tout le monde. Super… Ce bot multi-pays aura-t-il une caractéristique commune ?

Résolution d’écran

Est-ce un bot mobile ou desktop ? Allez, on va sûrement trouver quelque chose ici…

Et oui, nous avons enfin trouvé ce que nous cherchions. En position 11 nous sommes tombés sur une résolution assez étrange de 1360×1020. C’est clairement une résolution desktop, mais elle n’est vraiment pas habituelle : je ne connais aucun écran du marché, fixe ou portable, avec cette résolution. Il va falloir fouiner pour voir d’où elle sort.

Selenium et Puppeteer

Avec une donnée comme cette résolution si particulière en main, il suffit de fouiller un peu pour découvrir qu’il existe deux technologies de bots, Selenium et Puppeteer, qui l’utilisent par défaut.

Il s’agit de bots qui utilisent des machines virtuelles pour ouvrir un navigateur Chromium et entrer dans l’URL qu’on leur indique, dans le but de déboguer des applications web, scraper leur contenu ou, en réalité, tout ce que veut le développeur du bot.

En fouillant dans le code sur GitHub de Selenium, nous voyons ceci :

Voilà cette fichue résolution qui nous sabote nos métriques dans Google Analytics, parce que, répétons-le, c’est du trafic réel, de bots et non de personnes, mais ce sont des navigateurs qui accèdent au site avec on ne sait quel objectif. Il ne s’agit pas de referral spam utilisant le protocole de mesure.

En plus, il contourne le filtrage automatique de Google Analytics, puisque, comme vous le voyez, nous l’avons activé dans la configuration de la vue :

Alors, que pouvons-nous faire pour le supprimer et avoir des rapports plus propres ?

Comment le corriger et le supprimer de Google Analytics

La première chose à dire, c’est qu’il y a peut-être une raison pour laquelle il t’intéresse de conserver ce trafic qui gonfle artificiellement les métriques. C’est une option. Cependant, si ce que tu veux, c’est que Analytics te montre l’usage que font les utilisateurs humains de tes produits numériques il est probable que tu veuilles le supprimer de tes données.

Pour cela, deux possibilités s’offrent à nous, grosso modo :

• Le bloquer depuis le serveur
• Le supprimer de Google Analytics

En le bloquant depuis le serveur

Désolé de te le dire, mais ce n’est pas du tout une option simple ; voyons pourquoi :

• C’est un bot multi-IP et multi-pays: il n’est pas facile d’élaborer un modèle de filtrage
• Le User Agent est indiscernable de celui d’un Chrome/Chromium utilisé par un utilisateur
• La résolution d’écran, qui est la donnée clé, repose sur JavaScript pour sa détection ; ce n’est donc pas un langage côté serveur mais côté client

Alors, est-il possible de le bloquer depuis le serveur ? Possible, oui, mais aussi compliqué et difficilement recommandable.

Ok, et quelles options avons-nous pour qu’il ne nuise pas à nos métriques ? Continue à lire

Supprimer des données de trafic dans Google Analytics

Dans ce cas, nous avons une solution très simple, qui consiste à utiliser un filtre dans Google Analytics et l’appliquer à la ou aux vues qui nous intéressent.

Le filtre serait comme ceci :

Comme vous pouvez le voir, un filtre très simple qui remplit parfaitement son rôle :

Dans cette image, on peut voir trois phases:

• Avant janvier 2021, nous n’avions pas de trafic du bot
• Entre janvier et le 20 avril 2021, avec un trafic de bot croissant
• À partir du 21 avril, sans trafic du bot grâce à l’application du filtre dans Analytics

Nous considérons le problème comme corrigé.

Conclusions

Ce que je veux rendre clair avec cet article, c’est l’importance de prendre des décisions business sur la base de données réelles et nettoyées.

Dans ce cas, nous avons même envisagé des choses comme baisser les frais de livraison vers les Pays-Bas ou traduire le site en néerlandais en nous basant sur des données erronées. Imaginez la perte de ressources et/ou d’argent impliquée si nous avions mené l’une de ces deux actions. Autrement dit, à partir de données erronées, les conclusions que j’obtiens sont forcément erronées.

D’un autre côté, je vous encourage à fouiller dans vos comptes Analytics et à découvrir si vous recevez vous aussi du trafic avec cette résolution si particulière de 1360×1200. Si c’est le cas, votre perception des métriques change-t-elle une fois ce trafic supprimé ?

Tous les commentaires à ce sujet sont les bienvenus.