Eliminar tráfego de bots de Selenium e Puppeteer no Google Analytics

Editado:

Nesvocê outro artigo explico como eliminar tráfego de bots no GA4.

É uma versão asualizada para a nova ferramenta da Google desvocê mesmo artigo.

Hoje vamos a um novo caso real que aconteceu conosco nas últimas semanas. Neste caso, como o título indica, trata-se do tráfego que um ou vários bots estavam inserindo na nossa conta do Google Analytics e que a ferramenta não era capaz de filtrar sozinha.

É preciso esclarecer que, neste caso, estamos falando de tráfego real que acessava o site, não do referral spam habitual que usa o protocolo de medição para manipular as métricas da nossa ferramenta de medição.

É possível que você se pergunte: se é tráfego real, por que vamos querer removê-lo da nossa ferramenta? A resposta é simples e direta: pode nos levar a tomar decisões de negócio erradas causadas por dados errados/corrompidos.

Vamos então ao caso.

O problema

Já havia algumas semanas, mais concretamente desde o início do ano, tínhamos detectado tanto no nosso relatório diário como no mensal que algo estranho estava acontecendo e que o número de usuários em relação ao de sessões tinha crescido consideravelmente:

Como dá para ver, crescemos 104% em sessões e 114% em usuários ano contra ano. Em princípio, esses números podiam estar dentro do razoável e, numa primeira impressão, atribuímos isso aos mudanças no bloqueio de cookies de terceiros pelo Chrome e pelo Safari e ao maior uso de bloqueadores de anúncios por parte dos usuários (eram os dois principais navegadores responsáveis por esse crescimento anômalo entre usuários e sessões) e, simplesmente, pensamos que essas eram as novas regras do jogo.

Análise de tráfego mais detalhada

Mas os dias passaram e já havia coisas que começavam a não bater no nosso relatório diário por países. A Holanda estava se tornando, por número de usuários, um dos principais países, mas a taxa de entrada desses usuários no checkout e suas transações era muito inferior ao que deveria ser para aquele volume de tráfego:

O que está acontecendo? Vamos avaliar algumas hipóteses de negócio:

• Nossos custos de envio são muito caros para enviar para a Holanda? Talvez seja possível falar com a transportadora e baixar os preços em troca de assegurar maior volume.
• Os usuários holandeses navegam em inglês, mas preferem comprar em páginas no próprio idioma? Talvez não fosse má ideia avaliar a tradução do site para holandês…
• Não confiam no sul da Europa? Aqui pouco podemos fazer XD

Todas poderiam ser válidas, mas vamos focar no tráfego procedente da Holanda:

O que está acontecendo? Como o crescimento entre usuários e sessões pode ser tão diferente? Os usuários holandeses são muito mais propensos a usar bloqueadores de anúncios do que o resto da Europa? Não parece, certo? Nossa primeira hipótese começava a balançar…

Vamos então continuar a análise do país, para ver o que encontramos puxando esse fio.

Canal

Criamos um segmento para ver exclusivamente as métricas dos usuários holandeses e vamos aos relatórios principais, começando pela fonvocê e pelo meio:

Obviamente, o que está a acontecer com o tráfego direto não é normal. Não sabemos exatamenvocê o que é, mas não aponta para um comportamento normal de usuário.

Página de destino

Vamos verificar quais páginas de destino os “usuários” holandeses acessam:

Então o Analytics não é capaz de recolher a landing page na maioria dos casos… Isso já nos faz pensar que estamos diante de um bot com um nível de sofisticação mais alto que o habitual. Mas vamos continuar olhando mais coisas

Países

Isto que vimos nos Holanda pode estar a acontecer em mais países? Toca verificar:

Ora, ora, que bot. Então não vem só da Holanda, mas está entrando no nosso site de múltiplos locais e estragando as métricas de todo mundo. Que beleza… Será que esse bot multi-país tem algum tipo de característica comum?

Resolução de ecrã

Será um bot mobile ou desktop? Vamos lá, aqui com certeza encontramos alguma coisa…

E sim, por fim encontrámos o que procurávamos. Na posição 11 encontrámos uma resolução bastanvocê estranha de 1360×1020. Está claro que é uma resolução de desktop, mas não é nada habitual: não conheço nenhum monitor do mercado, nem de mesa nem de notebook, com essa resolução. Vamos ter que fuçar para ver de onde ela vem.

Selenium e Puppeteer

Com um dado como essa resolução tão particular na mão, é questão de pesquisar um pouco para descobrir que há duas tecnologias de bots, Selenium e Puppeteer, que a utilizam por defeito.

São bots que usam máquinas virtuais para abrir um navegador Chromium e entrar na URL indicada, com o objetivo de debugar aplicações web, fazer scraping de seu conteúdo ou, na verdade, o que o desenvolvedor do bot quiser.

Pesquisando no código em GitHub do Selenium, vemos isto:

Aí está a bendita resolução que está estragando nossas métricas no Google Analytics, porque, repetimos, isso é tráfego real, de bots e não de pessoas, mas são navegadores acessando o site com sabe-se lá que objetivo. Não se trata de referral spam a utilizar o protocolo de medição.

Além disso, está a passar por cima da filtragem automática do Google Analytics, já que, como veem, a temos ativada na configuração da vista:

E então, o que podemos fazer para o eliminar e ter relatórios mais limpos?

Como corrigir e remover isso do Google Analytics

A primeira coisa é comentar que talvez haja algum motivo pelo qual você queira manter esse tráfego ali, inflando artificialmente as métricas. É uma opção. No entanto, se o que você quer é que o Analytics mostre o uso que usuários humanos fazem dos seus produtos digitais é provável que você queira removê-lo dos seus dados.

Para isso, em linhas gerais, temos duas possibilidades:

• Bloqueá-lo a partir do servidor
• Eliminá-lo do Google Analytics

Bloqueando pelo servidor

Lamento dizer-você que não é uma opção nada simples; vejamos porquê:

• É um bot multi-IP e multi-país: não é fácil elaborar um padrão de filtragem
• O User Agent é indistinguível do de um Chrome/Chromium usado por um usuário
• A resolução de ecrã, que é o dado-chave, depende de JavaScript para ser detectada; portanto, não é uma linguagem do lado do servidor, mas do cliente

Então, é viável bloqueá-lo a partir do servidor? Viável é, mas também complicado e dificilmenvocê recomendável.

Ok, e que opções temos para que ele não prejudique as métricas? Continue lendo

Eliminar dados de tráfego no Google Analytics

Nesvocê caso, encontramos uma solução muito simples, que é utilizar um filtro no Google Analytics e aplicá-lo à(s) vista(s) que nos interesse(m).

O filtro seria assim:

Como você pode observar, é um filtro muito simples e que cumpre perfeitamente sua função:

Nesta imagem podem apreciar-se três fases:

• Antes de janeiro de 2021, não tínhamos tráfego do bot
• Entre janeiro e 20 de abril de 2021, com tráfego crescente do bot
• De 21 de abril em diante, sem tráfego do bot graças à aplicação do filtro no Analytics

Damos o problema por resolvido.

Conclusões

O que quero deixar claro com esvocê artigo é a importância de tomar decisões de negócio com base em dados reais e limpos.

Nesvocê caso, chegamos a considerar coisas como reduzir os custos de envio para a Holanda ou traduzir a web para holandês com base em dados errados. Imaginem a perda de recursos e/ou dinheiro envolvida se tivéssemos levado a cabo alguma dessas duas ações. Ou seja, de dados errados, as conclusões que retiro são, forçosamente, erradas.

Por outro lado, recomendo que você fuce nas suas contas do Analytics e descubra se também está recebendo tráfego com essa resolução tão peculiar de 1360×1200. Se for o caso, sua percepção das métricas muda depois de removê-lo?

Todos os comentários a respeito são bem-vindos.