Fjerne bottrafikk fra Selenium og Puppeteer i Google Analytics

Redigert:

I denne andre artikkelen forklarer jeg hvordan du fjerner bottrafikk i GA4.

Det er en oppdatert versjon for Googles nye verktøy av denne samme artikkelen.

I dag tar vi for oss en ny reell sak som har skjedd oss de siste ukene. I dette tilfellet handler det, som tittelen sier, om trafikken som en eller flere botter dyttet inn i Google Analytics-kontoen vår, og som den ikke klarte å filtrere selv.

Det må presiseres at det i dette tilfellet er snakk om ekte trafikk som gikk inn på nettstedet, ikke den vanlige henvisningsspammen som bruker måleprotokollen for å manipulere måledataene i måleverktøyet vårt.

Du spør deg kanskje: hvis det er ekte trafikk, hvorfor vil vi da fjerne den fra verktøyet vårt? Svaret er enkelt og tydelig: den kan føre til at vi tar feil forretningsbeslutninger på grunn av feilaktige/korrupte data.

La oss gå inn i saken.

Problemet

Allerede i noen uker, konkret siden begynnelsen av året, hadde vi oppdaget både i vår daglige og månedlige rapportering at noe merkelig skjedde og at antallet brukere sammenlignet med økter hadde vokst betydelig:

Som man kan se, hadde vi vokst 104 % i økter og 114 % i brukere år over år. I utgangspunktet kunne disse tallene ligge innenfor det rimelige, og ved første øyekast skyldte vi dem på endringer i blokkeringen av tredjepartscookies fra Chrome og Safari og økt bruk av annonseblokkere blant brukerne (de var de to hovednettleserne som var ansvarlige for denne unormale veksten mellom brukere og økter), og vi tenkte rett og slett at dette var de nye spillereglene.

Mer detaljert trafikkanalyse

Men dagene gikk, og flere ting begynte å skurre i vår daglige rapportering etter land. Nederland var i ferd med å bli et av de viktigste landene målt i antall brukere, men andelen av brukerne som gikk inn i checkouten og transaksjonene deres var langt lavere enn de burde være ut fra trafikkvolumet:

Hva er det som skjer? La oss vurdere noen forretningshypoteser:

• Er fraktkostnadene våre for dyre for sending til Nederland? Kanskje det er mulig å snakke med transportbyrået og senke prisene i bytte mot å sikre større volum.
• Surfer nederlandske brukere på engelsk, men foretrekker å kjøpe på sider på sitt eget språk? Vel, kanskje det ikke ville vært dumt å vurdere å oversette nettstedet til nederlandsk…
• Stoler de ikke på Sør-Europa? Her kan vi gjøre lite XD

Alle kunne være gyldige, men la oss fokusere på trafikken fra Nederland:

Hva skjer? Hvordan kan veksten mellom brukere og økter være så forskjellig? Er nederlandske brukere mye mer tilbøyelige til å bruke adblockere enn resten av Europa? Det virker ikke slik, gjør det? Den første hypotesen vår begynte å vakle…

La oss derfor fortsette med analysen av landet og se hva vi finner når vi drar i tråden.

Kanal

Vi opprettet et segment for å se utelukkende måledataene til nederlandske brukere og går til hovedrapportene, med start på kilde og medium:

Åpenbart er det som skjer med direct-trafikken ikke normalt. Vi vet ikke nøyaktig hva det er, men det peker ikke mot normal brukeratferd.

Landingsside

La oss sjekke hvilke landingssider de nederlandske “brukerne” går inn på:

Altså Analytics klarer ikke å hente landing page i de fleste tilfeller… Dette får oss allerede til å tenke at vi står overfor en bot med et høyere sofistikeringsnivå enn de vanlige. Men la oss fortsette å se flere ting

Land

Kan det vi har sett i Nederland skje i flere land? På tide å sjekke:

Jøss, for en bot. Den kommer altså ikke bare fra Nederland, men den går inn på nettstedet vårt fra flere lokasjoner og ødelegger måledataene for alle. Flott… Har denne flerlandsboten en eller annen felles egenskap?

Skjermoppløsning

Er det en mobil- eller desktop-bot? Kom igjen, her finner vi sikkert noe…

Og ja, til slutt fant vi det vi lette etter. På plass 11 fant vi en ganske merkelig oppløsning på 1360×1020. Det er klart at det er en desktopoppløsning, men den er ikke vanlig i det hele tatt: jeg kjenner ikke til noen skjerm på markedet, verken stasjonær eller bærbar, med den oppløsningen. Vi må grave litt for å se hvor den kommer fra.

Selenium og Puppeteer

Med en så spesiell opplysning som den oppløsningen i hånden, er det bare å grave litt for å finne ut at det finnes to botteknologier, Selenium og Puppeteer, som bruker den som standard.

Det dreier seg om botter som bruker virtuelle maskiner til å åpne en Chromium-nettleser og gå inn på URL-en de får angitt, med mål om å debugge webapplikasjoner, scrape innholdet deres eller, egentlig, hva enn botutvikleren vil.

Når vi graver i koden på GitHub for Selenium, ser vi dette:

Der er den, den forbannede oppløsningen som ødelegger måledataene våre i Google Analytics, for, vi gjentar, dette er ekte trafikk, fra botter og ikke mennesker, men det er nettlesere som går inn på nettstedet med hvem vet hvilket mål. Det er ikke henvisningsspam som bruker måleprotokollen.

I tillegg omgår den den automatiske filtreringen i Google Analytics, siden vi, som dere ser, har den aktivert i visningsinnstillingene:

Og hva kan vi da gjøre for å fjerne den og få renere rapporter?

Hvordan korrigere det og fjerne det fra Google Analytics

Først må det sies at det kanskje finnes en grunn til at du er interessert i å ha den trafikken der og blåse opp måledataene kunstig. Det er et alternativ. Men hvis det du ønsker er at Analytics skal vise deg hvordan menneskelige brukere bruker de digitale produktene dine vil du sannsynligvis fjerne den fra dataene dine.

Til dette har vi grovt sett to muligheter:

• Blokkere den fra serveren
• Fjerne den fra Google Analytics

Blokkere den fra serveren

Jeg må dessverre si at det ikke er et enkelt alternativ i det hele tatt; la oss se hvorfor:

• Det er en multi-IP- og flerlandsbot: det er ikke lett å lage et filtreringsmønster
• Den User Agent er umulig å skille fra en Chrome/Chromium brukt av en bruker
• Den skjermoppløsning, som er nøkkeldataene, bygger på JavaScript for deteksjonen, så det er ikke et serversidespråk, men et klientsidespråk

Er det da mulig å blokkere den fra serveren? Mulig er det, men også komplisert og neppe anbefalelsesverdig.

Ok, og hvilke alternativer har vi for at den ikke skal skade måledataene våre? Les videre

Fjerne trafikkdata i Google Analytics

I dette tilfellet har vi en veldig enkel løsning, nemlig å bruke et filter i Google Analytics og bruke det på visningen(e) vi er interessert i.

Filteret ville se slik ut:

Som dere ser, et veldig enkelt filter som gjør jobben sin perfekt:

I dette bildet kan man se tre faser:

• Før januar 2021 hadde vi ingen bottrafikk
• Mellom januar og 20. april 2021 med økende bottrafikk
• Fra 21. april og videre, uten bottrafikk takket være filteret i Analytics

Vi anser problemet som korrigert.

Konklusjoner

Det jeg vil gjøre klart med denne artikkelen, er viktigheten av å ta forretningsbeslutninger basert på ekte og rensede data.

I dette tilfellet kom vi til og med til å vurdere ting som å senke fraktkostnadene til Nederland eller oversette nettstedet til nederlandsk basert på feil data. Se for dere tapet av ressurser og/eller penger som ville vært involvert hvis vi hadde gjennomført en av disse to handlingene. Altså: med feil data blir konklusjonene jeg trekker nødvendigvis feil.

På den andre siden oppfordrer jeg dere til å grave i Analytics-kontoene deres og finne ut om dere også får trafikk med denne oppløsningen så spesiell som 1360×1200. Hvis det er slik, endrer oppfatningen deres av måledataene seg når den er fjernet?

Alle kommentarer om dette er velkomne.