Bewerkt:
In dit andere artikel leg ik uit hoe je botverkeer in GA4 verwijdert.
Het is een bijgewerkte versie voor de nieuwe tool van Google van ditzelfde artikel.
Vandaag gaan we aan de slag met een nieuwe echte case die ons de afgelopen weken is overkomen. In dit geval gaat het, zoals de titel aangeeft, om verkeer dat een of meerdere bots in ons Google Analytics-account aan het duwen waren en dat Analytics zelf niet kon filteren.
Het moet duidelijk zijn dat het in dit geval gaat om echt verkeer dat de website bezocht, niet om de gebruikelijke referralspam die het meetprotocol gebruikt om de statistieken van onze meettool te manipuleren.
Misschien vraag je je af: als het echt verkeer is, waarom zouden we het dan uit onze tool willen verwijderen? Het antwoord is eenvoudig en keihard: het kan ertoe leiden dat we verkeerde zakelijke beslissingen nemen op basis van foutieve/corrupte data.
Laten we dus de case induiken.
Índice de Contenidos del Artículo
Het probleem
Al sinds enkele weken, concreet sinds het begin van het jaar, hadden we zowel in onze dagelijkse als maandelijkse rapportage gemerkt dat er iets vreemds aan de hand was en dat het aantal gebruikers ten opzichte van het aantal sessies flink was gegroeid:
Zoals je kunt zien, waren we met 104% gegroeid in sessies en met 114% in gebruikers jaar-op-jaar. In principe konden deze cijfers nog binnen het redelijke vallen en in eerste instantie schreven we ze toe aan de wijzigingen in het blokkeren van cookies van derden door Chrome en Safari en het grotere gebruik van adblockers door gebruikers (dit waren de twee belangrijkste browsers die verantwoordelijk waren voor deze abnormale groei tussen gebruikers en sessies) en we dachten simpelweg dat dit de nieuwe spelregels waren.
Gedetailleerdere verkeersanalyse
Maar de dagen verstreken en in onze dagelijkse rapportage per land begonnen meer dingen niet te kloppen. Nederland werd, qua aantal gebruikers, een van de belangrijkste landen, maar de verhouding waarmee gebruikers de checkout binnenkwamen en hun transacties lag veel lager dan op basis van het verkeersvolume zou moeten:
Wat is er aan de hand? Laten we enkele zakelijke hypotheses bekijken:
- Zijn onze verzendkosten voor verzending naar Nederland te duur? Misschien is het mogelijk om met de vervoerder te praten en de prijzen te verlagen in ruil voor een groter volume.
- Surfen Nederlandse gebruikers in het Engels maar kopen ze liever op pagina’s in hun eigen taal? Nou, misschien zou het geen slecht idee zijn om de vertaling van de website naar het Nederlands te overwegen…
- Vertrouwen ze Zuid-Europa niet? Hier kunnen we weinig aan doen XD
Allemaal zouden ze geldig kunnen zijn, maar laten we focussen op het verkeer uit Nederland:
Wat gebeurt er? Hoe kan de groei tussen gebruikers en sessies zo sterk verschillen? Zijn Nederlandse gebruikers veel gevoeliger voor adblockers dan de rest van Europa? Daar lijkt het niet op, toch? Onze eerste hypothese begon te wankelen…
Laten we dus doorgaan met de analyse van het land en kijken wat we vinden als we aan het draadje trekken.
Kanaal
We maakten een segment aan om uitsluitend de statistieken van Nederlandse gebruikers te bekijken en we gaan naar de hoofdrapporten, te beginnen met bron en medium:
Uiteraard is wat er gebeurt met het directe verkeer niet normaal. We weten niet precies wat het is, maar het wijst niet op normaal gebruikersgedrag.
Landingspagina
Laten we controleren welke landingspagina’s de Nederlandse “gebruikers” bezoeken:
Dus Analytics kan de landing page niet vastleggen in de meeste gevallen… Dit doet ons al denken dat we te maken hebben met een bot met een hoger niveau van verfijning dan de gebruikelijke. Maar laten we verder kijken
Landen
Kan wat we in Nederland hebben gezien ook in meer landen gebeuren? Tijd om het te controleren:
Nou, nou, wat een bot. Hij komt dus niet alleen uit Nederland, maar hij komt onze website binnen vanaf meerdere locaties en verpest de statistieken van iedereen. Lekker dan… Heeft deze bot uit meerdere landen misschien een gemeenschappelijk kenmerk?
Schermresolutie
Is het een mobiele of desktopbot? Kom op, hier vinden we vast iets…
En ja, eindelijk vonden we wat we zochten. Op plaats 11 kwamen we een behoorlijk vreemde resolutie van 1360×1020 tegen. Het is duidelijk een desktopresolutie, maar wel een die helemaal niet gebruikelijk is: ik ken geen enkele monitor op de markt, desktop of laptop, met die resolutie. We zullen moeten snuffelen om te zien waar die vandaan komt.
Selenium en Puppeteer
Met zo’n specifieke resolutie in handen is het een kwestie van wat graven om te ontdekken dat er twee bottechnologieën zijn, Selenium en Puppeteer, die deze standaard gebruiken.
Het gaat om bots die virtuele machines gebruiken om een Chromium-browser te openen en de URL te bezoeken die hun wordt opgegeven, met als doel te debuggen webapplicaties, te scrapen hun inhoud of, eigenlijk, wat de ontwikkelaar van de bot maar wil.
Door in de code op GitHub van Selenium te duiken, zien we dit:
Daar is hij dan, die rotresolutie die onze statistieken in Google Analytics verpest, want, we herhalen het, dit is echt verkeer, van bots en niet van mensen, maar het zijn browsers die de website bezoeken met weet ik veel welk doel. Het gaat niet om referralspam die het meetprotocol gebruikt.
Bovendien omzeilt hij de automatische filtering van Google Analytics, want zoals je ziet hebben we die ingeschakeld in de weergave-instellingen:
En wat kunnen we dan doen om het te verwijderen en schonere rapporten te hebben?
Hoe je dit corrigeert en uit Google Analytics verwijdert
Allereerst moet worden gezegd dat er misschien een reden is waarom je dat verkeer daar wilt hebben om de statistieken kunstmatig op te blazen. Dat is een optie. Maar als je wilt dat Analytics je laat zien hoe menselijke gebruikers je digitale producten gebruiken wil je het waarschijnlijk uit je data verwijderen.
Daarvoor hebben we grofweg twee mogelijkheden:
- Het vanaf de server blokkeren
- Het uit Google Analytics verwijderen
Het vanaf de server blokkeren
Helaas moet ik je zeggen dat dit helemaal geen eenvoudige optie is; laten we kijken waarom:
- Het is een multi-IP- en bot uit meerdere landen: het is niet eenvoudig om een filterpatroon op te stellen
- De User Agent is niet te onderscheiden van die van een Chrome/Chromium die door een gebruiker wordt gebruikt
- De schermresolutie, die de sleuteldata is, is voor detectie gebaseerd op JavaScript, dus het is geen server-side taal maar client-side
Dus, is het haalbaar om hem vanaf de server te blokkeren? Haalbaar wel, maar ook ingewikkeld en nauwelijks aan te raden.
Oké, en welke opties hebben we zodat hij onze statistieken niet schaadt? Lees verder
Verkeersdata verwijderen in Google Analytics
In dit geval hebben we een heel eenvoudige oplossing, namelijk een filter gebruiken in Google Analytics en dit toepassen op de weergave(n) die ons interesseren.
Het filter zou er zo uitzien:
Zoals je ziet, een heel eenvoudig filter dat perfect doet waarvoor het bedoeld is:
In deze afbeelding kun je drie fasen:
- Vóór januari 2021 hadden we geen botverkeer
- Tussen januari en 20 april 2021 met groeiend botverkeer
- Vanaf 21 april, zonder botverkeer dankzij de toepassing van het filter in Analytics
We beschouwen het probleem als opgelost.
Conclusies
Wat ik met dit artikel duidelijk wil maken, is het belang van zakelijke beslissingen nemen op basis van echte en opgeschoonde data.
In dit geval overwogen we zelfs dingen als het verlagen van de verzendkosten naar Nederland of het vertalen van de website naar het Nederlands op basis van foutieve data. Stel je voor het verlies aan middelen en/of geld dat ermee gemoeid zou zijn geweest als we een van deze twee acties hadden uitgevoerd. Met andere woorden: uit foutieve data zijn de conclusies die ik trek per definitie foutief.
Aan de andere kant moedig ik je aan om in je Analytics-accounts te duiken en te ontdekken of jij ook verkeer met deze resolutie ontvangt die zo bijzonder is: 1360×1200. Zo ja, verandert je perceptie van de statistieken zodra het is verwijderd?
Alle opmerkingen hierover zijn welkom.
Geef een reactie