Bot-Traffic von Selenium und Puppeteer in Google Analytics entfernen

Bearbeitet:

In diesem anderen Artikel erkläre ich wie man Bot-Traffic in GA4 entfernt.

Das ist eine aktualisierte Version dieses Artikels für das neue Tool von Google.

Heute geht es um einen neuen realen Fall, der uns in den letzten Wochen passiert ist. In diesem Fall geht es, wie der Titel schon sagt, um Traffic, den ein oder mehrere Bots in unser Google Analytics-Konto eingeschleust haben und den dieses nicht selbst filtern konnte.

Es muss klargestellt werden, dass es sich in diesem Fall um echten Traffic handelte, der auf die Website zugriff, nicht um den üblichen Referral-Spam, der das Measurement Protocol nutzt, um die Metriken unseres Messtools zu manipulieren.

Vielleicht fragt ihr euch: Wenn es echter Traffic ist, warum sollten wir ihn aus unserem Tool entfernen wollen? Die Antwort ist einfach und deutlich: Er kann dazu führen, dass wir falsche Geschäftsentscheidungen auf Basis fehlerhafter/korrupter Daten treffen.

Kommen wir also zum Fall.

Das Problem

Schon seit einigen Wochen, konkret seit Jahresbeginn, hatten wir sowohl in unserem täglichen als auch monatlichen Reporting festgestellt, dass etwas Seltsames passierte und dass die Zahl der Nutzer im Verhältnis zu den Sitzungen erheblich gestiegen war:

Wie man sehen kann, waren wir bei den Sitzungen um 104 % und bei den Nutzern um 114 % im Jahresvergleich gewachsen. Grundsätzlich konnten diese Zahlen noch im Rahmen des Vernünftigen liegen und auf den ersten Blick schoben wir sie auf die Änderungen beim Blockieren von Drittanbieter-Cookies durch Chrome und Safari und die stärkere Nutzung von Adblockern durch die Nutzer (das waren die beiden wichtigsten Browser, die für dieses anomale Wachstum zwischen Nutzern und Sitzungen verantwortlich waren), und wir dachten einfach, das seien die neuen Spielregeln.

Detailliertere Traffic-Analyse

Aber die Tage vergingen und in unserem täglichen Reporting nach Ländern begannen immer mehr Dinge nicht zu passen. Die Niederlande wurden nach Nutzerzahl zu einem der wichtigsten Länder, aber die Checkout-Einstiegsrate dieser Nutzer und ihre Transaktionen lagen deutlich unter dem, was sie bei diesem Traffic-Volumen sein sollten:

Was ist hier los? Bewerten wir ein paar Geschäftshypothesen:

• Sind unsere Versandkosten für Lieferungen in die Niederlande zu hoch? Vielleicht könnte man mit dem Versanddienstleister sprechen und die Preise im Gegenzug für ein höheres Volumen senken.
• Surfen niederländische Nutzer auf Englisch, kaufen aber lieber auf Seiten in ihrer eigenen Sprache? Na ja, vielleicht wäre es nicht schlecht, eine Übersetzung der Website ins Niederländische in Betracht zu ziehen…
• Trauen sie Südeuropa nicht? Da können wir wenig machen XD

Alle könnten gültig sein, aber konzentrieren wir uns auf den Traffic aus den Niederlanden:

Was passiert hier? Wie kann das Wachstum zwischen Nutzern und Sitzungen so stark auseinandergehen? Sind niederländische Nutzer viel anfälliger für Adblocker als der Rest Europas? Sieht nicht danach aus, oder? Unsere erste Hypothese begann zu wackeln…

Machen wir also mit der Länderanalyse weiter und schauen, was wir finden, wenn wir den Faden ziehen.

Kanal

Wir erstellten ein Segment, um ausschließlich die Metriken der niederländischen Nutzer zu sehen und gingen zu den Hauptberichten, beginnend mit Quelle und Medium:

Offensichtlich ist das, was mit dem Direct-Traffic passiert, nicht normal. Wir wissen nicht genau, was es ist, aber es deutet nicht auf normales Nutzerverhalten hin.

Landingpage

Prüfen wir, auf welche Landingpages die niederländischen „Nutzer“ zugreifen:

Also Analytics kann die Landingpage nicht erfassen in den meisten Fällen… Das lässt uns bereits denken, dass wir es mit einem Bot zu tun haben, der ein höheres Maß an Raffinesse hat als die üblichen. Aber schauen wir uns weitere Dinge an

Länder

Kann das, was wir in den Niederlanden gesehen haben, auch in weiteren Ländern passieren? Das müssen wir prüfen:

Na sowas mit diesem Bot. Er kommt also nicht nur aus den Niederlanden, sondern er gelangt von mehreren Standorten auf unsere Website und versaut allen die Metriken. Großartig… Hat dieser Mehrländer-Bot vielleicht irgendein gemeinsames Merkmal?

Bildschirmauflösung

Ist es ein Mobile- oder Desktop-Bot? Komm, hier finden wir bestimmt etwas…

Und ja, endlich fanden wir, wonach wir gesucht hatten. Auf Platz 11 fanden wir eine ziemlich seltsame Auflösung von 1360×1020. Es ist klar eine Desktop-Auflösung, aber sie ist überhaupt nicht üblich: Ich kenne keinen Monitor auf dem Markt, weder Desktop noch Laptop, mit dieser Auflösung. Da müssen wir ein wenig herumstochern, um zu sehen, woher sie kommt.

Selenium und Puppeteer

Mit einem so speziellen Wert wie dieser Auflösung in der Hand muss man nur ein wenig graben, um herauszufinden, dass es zwei Bot-Technologien gibt, Selenium und Puppeteer, die sie standardmäßig verwenden.

Es handelt sich um Bots, die virtuelle Maschinen verwenden, um einen Chromium-Browser zu öffnen und die angegebene URL aufzurufen, mit dem Ziel, zu debuggen Webanwendungen, zu scrapen deren Inhalte oder eigentlich alles, was der Bot-Entwickler will.

Beim Durchstöbern des Codes auf GitHub von Selenium sehen wir das hier:

Da ist sie, diese verdammte Auflösung, die unsere Metriken in Google Analytics ruiniert, denn, wir wiederholen es, das ist echter Traffic, von Bots und nicht von Menschen, aber es sind Browser, die auf die Website zugreifen mit welchem Ziel auch immer. Es handelt sich nicht um Referral-Spam über das Measurement Protocol.

Außerdem umgeht er die automatische Filterung von Google Analytics, denn wie ihr seht, haben wir sie in den Ansichtseinstellungen aktiviert:

Und was können wir dann tun, um ihn zu entfernen und sauberere Berichte zu haben?

Wie man ihn korrigiert und aus Google Analytics entfernt

Zunächst muss man sagen, dass es vielleicht irgendeinen Grund gibt, warum du diesen Traffic dort haben möchtest, damit er die Metriken künstlich aufbläht. Das ist eine Option. Wenn du aber möchtest, dass Analytics dir zeigt, wie menschliche Nutzer deine digitalen Produkte verwenden dann wirst du ihn wahrscheinlich aus deinen Daten entfernen wollen.

Dafür bieten sich grob gesagt zwei Möglichkeiten an:

• Ihn serverseitig blockieren
• Ihn aus Google Analytics entfernen

Ihn serverseitig blockieren

Leider muss ich dir sagen, dass das überhaupt keine einfache Option ist; sehen wir uns an, warum:

• Es ist ein Multi-IP- und Mehrländer-Bot: Es ist nicht leicht, ein Filtermuster zu erstellen
• Der User Agent ist nicht zu unterscheiden von dem eines Chrome/Chromium, der von einem Nutzer verwendet wird
• Die Bildschirmauflösung, die der entscheidende Wert ist, basiert bei ihrer Erkennung auf JavaScript, ist also keine serverseitige, sondern eine clientseitige Sprache

Ist es also machbar, ihn serverseitig zu blockieren? Machbar ja, aber auch kompliziert und kaum empfehlenswert.

Okay, und welche Optionen haben wir, damit er unsere Metriken nicht schädigt? Lies weiter

Traffic-Daten in Google Analytics entfernen

In diesem Fall haben wir eine sehr einfache Lösung, nämlich einen Filter in Google Analytics zu verwenden und ihn auf die Ansicht(en) anzuwenden, die uns interessieren.

Der Filter sähe so aus:

Wie ihr seht, ein sehr einfacher Filter, der seinen Zweck perfekt erfüllt:

In diesem Bild kann man drei Phasen:

• Vor Januar 2021 hatten wir keinen Bot-Traffic
• Zwischen Januar und dem 20. April 2021 mit wachsendem Bot-Traffic
• Ab dem 21. April ohne Bot-Traffic dank der Anwendung des Filters in Analytics

Wir betrachten das Problem als behoben.

Schlussfolgerungen

Was ich mit diesem Artikel klarstellen möchte, ist die Bedeutung, Geschäftsentscheidungen auf Basis echter und bereinigter Daten zu treffen.

In diesem Fall haben wir sogar Dinge wie die Senkung der Versandkosten in die Niederlande oder die Übersetzung der Website ins Niederländische auf Basis falscher Daten in Betracht gezogen. Stellt euch den Verlust an Ressourcen und/oder Geld vor, der entstanden wäre, wenn wir eine dieser beiden Maßnahmen umgesetzt hätten. Das heißt: Aus falschen Daten sind die Schlussfolgerungen, die ich ziehe, zwangsläufig falsch.

Andererseits ermutige ich euch, in euren Analytics-Konten zu graben und herauszufinden, ob auch bei euch Traffic mit dieser Auflösung ankommt dieser so besonderen 1360×1200. Falls ja, ändert sich eure Wahrnehmung der Metriken, sobald er entfernt wurde?

Alle Kommentare dazu sind willkommen.