Usuwanie ruchu botów Selenium i Puppeteer w Google Analytics

Edytowano:

W tym innym artykule wyjaśniam jak usunąć ruch botów w GA4.

To zaktualizowana wersja tego samego artykułu dla nowego narzędzia Google.

Dzisiaj mamy nowy prawdziwy przypadek, który przydarzył nam się w ostatnich tygodniach. W tym przypadku, jak wskazuje tytuł, chodzi o ruch, który jeden lub kilka botów wciskało do naszego konta Google Analytics i którego ono samo nie było w stanie odfiltrować.

Trzeba wyjaśnić, że w tym przypadku chodzi o prawdziwy ruch, który wchodził na stronę, a nie o typowy referral spam wykorzystujący protokół pomiarowy do manipulowania metrykami naszego narzędzia pomiarowego.

Możliwe, że zastanawiacie się, skoro to prawdziwy ruch, dlaczego chcielibyśmy go usuwać z naszego narzędzia. Odpowiedź jest prosta i mocna: może doprowadzić nas do podejmowania błędnych decyzji biznesowych spowodowanych błędnymi/uszkodzonymi danymi.

Przejdźmy więc do przypadku.

Problem

Już od kilku tygodni, konkretnie od początku roku, wykrywaliśmy zarówno w naszym codziennym, jak i miesięcznym raportowaniu, że dzieje się coś dziwnego i że liczba użytkowników względem sesji znacznie wzrosła:

Jak widać, urośliśmy o 104% w sesjach i o 114% w użytkownikach rok do roku. Zasadniczo te liczby mogły mieścić się w granicach rozsądku i przy pierwszym spojrzeniu przypisaliśmy je zmianom w blokowaniu plików cookie stron trzecich przez Chrome i Safari oraz większemu użyciu adblockerów przez użytkowników (to były dwie główne przeglądarki odpowiedzialne za ten anomalny wzrost między użytkownikami a sesjami) i po prostu uznaliśmy, że takie są nowe reguły gry.

Bardziej szczegółowa analiza ruchu

Ale mijały dni i w naszym codziennym raportowaniu według krajów coraz więcej rzeczy zaczynało się nie zgadzać. Holandia stawała się jednym z głównych krajów pod względem liczby użytkowników, ale wskaźnik wejścia tych użytkowników do checkoutu i ich transakcje były znacznie niższe, niż powinny być przy takim wolumenie ruchu:

Co się dzieje? Oceńmy kilka hipotez biznesowych:

• Czy nasze koszty wysyłki do Holandii są zbyt wysokie? Może da się porozmawiać z firmą transportową i obniżyć ceny w zamian za zapewnienie większego wolumenu.
• Czy holenderscy użytkownicy przeglądają po angielsku, ale wolą kupować na stronach w swoim języku? No cóż, może nie byłoby złym pomysłem rozważenie tłumaczenia strony na niderlandzki…
• Nie ufają południowej Europie? Tutaj niewiele możemy zrobić XD

Wszystkie mogłyby być ważne, ale skupmy się na ruchu pochodzącym z Holandii:

Co się dzieje? Jak wzrost między użytkownikami a sesjami może się aż tak różnić? Czy holenderscy użytkownicy są dużo bardziej skłonni do używania adblockerów niż reszta Europy? Nie wygląda na to, prawda? Nasza pierwsza hipoteza zaczęła się chwiać…

Kontynuujmy więc analizę kraju i zobaczmy, co znajdziemy, pociągając za nitkę.

Kanał

Utworzyliśmy segment, aby widzieć wyłącznie metryki holenderskich użytkowników i przechodzimy do głównych raportów, zaczynając od źródła i medium:

Oczywiście to, co dzieje się z ruchem direct nie jest normalne. Nie wiemy dokładnie, co to jest, ale nie wskazuje na normalne zachowanie użytkownika.

Strona docelowa

Sprawdźmy, na jakie strony docelowe wchodzą holenderscy „użytkownicy”:

A więc Analytics nie jest w stanie zebrać landing page w większości przypadków… To już każe nam myśleć, że mamy do czynienia z botem o wyższym poziomie zaawansowania niż zwykłe. Ale zobaczmy więcej rzeczy

Kraje

Czy to, co zobaczyliśmy w Holandii, może dziać się w większej liczbie krajów? Trzeba to sprawdzić:

No proszę, co za bot. A więc nie wchodzi tylko z Holandii, lecz wchodzi na naszą stronę z wielu lokalizacji i psuje metryki wszystkim. Świetnie… Czy ten wielokrajowy bot będzie miał jakąś wspólną cechę?

Rozdzielczość ekranu

Czy to bot mobile czy desktop? No dalej, tu na pewno coś znajdziemy…

I tak, w końcu znaleźliśmy to, czego szukaliśmy. Na pozycji 11 znaleźliśmy dość dziwną rozdzielczość 1360×1020. Jasne, że to rozdzielczość komputerowa, ale zupełnie nietypowa: nie znam żadnego monitora na rynku, ani stacjonarnego, ani laptopowego, z taką rozdzielczością. Trzeba będzie pogrzebać i zobaczyć, skąd się bierze.

Selenium i Puppeteer

Mając w ręku taki szczególny fakt jak ta rozdzielczość, wystarczy trochę pogrzebać, aby odkryć, że istnieją dwie technologie botów, Selenium i Puppeteer, które używają jej domyślnie.

Chodzi o boty, które wykorzystują maszyny wirtualne do otwierania przeglądarki Chromium i wchodzenia pod wskazany URL, w celu debugowania aplikacji webowych, scrapowania ich treści albo, tak naprawdę, robienia tego, czego chce twórca bota.

Grzebiąc w kodzie na GitHub Selenium widzimy to:

Oto ona, ta przeklęta rozdzielczość, która psuje nam metryki w Google Analytics, bo, powtarzamy, to prawdziwy ruch, od botów, a nie od ludzi, ale to przeglądarki wchodzące na stronę nie wiadomo z jakim celem. To nie jest referral spam wykorzystujący protokół pomiarowy.

Dodatkowo omija automatyczne filtrowanie Google Analytics, bo jak widzicie, mamy je aktywowane w konfiguracji widoku:

Co więc możemy zrobić, aby go usunąć i mieć czystsze raporty?

Jak to poprawić i usunąć z Google Analytics

Najpierw trzeba powiedzieć, że być może istnieje jakiś powód, dla którego interesuje cię posiadanie tego ruchu tam, gdzie sztucznie pompuje metryki. To opcja. Jeśli jednak chcesz, żeby Analytics pokazywał ci użycie twoich produktów cyfrowych przez ludzkich użytkowników prawdopodobnie zechcesz usunąć go ze swoich danych.

W tym celu, ogólnie rzecz biorąc, mamy dwie możliwości:

• Zablokować go z poziomu serwera
• Usunąć go z Google Analytics

Blokując go z poziomu serwera

Przykro mi to mówić, ale to wcale nie jest prosta opcja; zobaczmy dlaczego:

• To jest bot multi-IP i wielokrajowy: nie jest łatwo opracować wzorzec filtrowania
• Ten User Agent jest nie do odróżnienia od Chrome/Chromium używanego przez użytkownika
• Ta rozdzielczość ekranu, która jest kluczową daną, opiera się na JavaScript do wykrywania, więc nie jest to język po stronie serwera, lecz po stronie klienta

Czy więc da się go zablokować z poziomu serwera? Da się, ale jest to też skomplikowane i raczej trudne do polecenia.

Ok, a jakie mamy opcje, żeby nie szkodził naszym metrykom? Czytaj dalej

Usuwanie danych ruchu w Google Analytics

W tym przypadku mamy bardzo proste rozwiązanie, którym jest użycie filtra w Google Analytics i zastosowanie go do interesujących nas widoków.

Filtr wyglądałby tak:

Jak widzicie, bardzo prosty filtr, który doskonale spełnia swoje zadanie:

Na tym obrazie można dostrzec trzy fazy:

• Przed styczniem 2021 nie mieliśmy ruchu bota
• Między styczniem a 20 kwietnia 2021, z rosnącym ruchem bota
• Od 21 kwietnia dalej, bez ruchu bota dzięki zastosowaniu filtra w Analytics

Uznajemy problem za naprawiony.

Wnioski

To, co chcę jasno pokazać w tym artykule, to znaczenie podejmowania decyzji biznesowych na podstawie rzeczywistych i oczyszczonych danych.

W tym przypadku doszliśmy do rozważania takich rzeczy jak obniżenie kosztów wysyłki do Holandii albo tłumaczenie strony na niderlandzki na podstawie błędnych danych. Wyobraźcie sobie stratę zasobów i/lub pieniędzy związaną z tym, gdybyśmy wykonali którąś z tych dwóch akcji. Innymi słowy: z błędnych danych wnioski, które wyciągam, siłą rzeczy są błędne.

Z drugiej strony zachęcam was do pogrzebania w swoich kontach Analytics i sprawdzenia, czy do was również dociera ruch z tą rozdzielczością tak szczególną, 1360×1200. Jeśli tak, czy zmienia się wasze postrzeganie metryk po jego usunięciu?

Wszelkie komentarze w tej sprawie są mile widziane.