Historische gegevens uit Universal Analytics exporteren

Dit is een artikel dat je graag zult lezen als je een middelgrote website hebt met meerdere jaren historie.

Vooral als je wat tijd hebt besteed aan de analytics ervan.

Want in dat geval heb je waarschijnlijk een flinke hoeveelheid historische gegevens in Universal Analytics.

En je weet dat Google over een paar dagen, om precies te zijn op 1 juli 2024, een massale gegevensverwijdering -de grootste in de geschiedenis, let op (hehe)- gaat uitvoeren en de gegevens van jouw website samen met die van miljoenen andere pagina’s wereldwijd zal verwijderen.

Komt deze waarschuwing je bekend voor?

Het is wat het is.

Kan ik betalen om mijn gegevens te behouden?

Nee.

Of in ieder geval niet rechtstreeks in een Universal Analytics-property die zoals tot nu toe via je Google-account toegankelijk is.

Maar er zijn alternatieven. Gratis en betaald.

En in dit artikel vertel ik je over de belangrijkste en over de opties die ik zelf ga gebruiken op mijn websites en die van mijn klanten.

Met andere woorden: ik leg stap voor stap uit welk proces ik in mijn geval ga volgen, samen met het Looker Studio-rapport dat ik voor de export gebruik, zodat jij het kunt gebruiken als je dat interessant vindt.

En dat is waarschijnlijk zo.

Manieren om je historische Universal Analytics-gegevens te bewaren

Er zijn verschillende mogelijkheden, maar dit zijn de belangrijkste:

1. De gegevens naar Google BigQuery overzetten.
2. De gegevens handmatig vanuit de interface van de tool naar CSV exporteren.
3. De gegevens handmatig via de API naar CSV exporteren.
4. Een eigen oplossing ontwikkelen en de API gebruiken om de gegevens op te slaan of te exporteren zoals je wilt.
5. Looker Studio gebruiken om de gegevens handmatig naar Excel of CSV te exporteren.
6. Semi- of volledig geautomatiseerde systemen gebruiken.

Laten we elke optie bespreken.

Optie 1: De gegevens naar Google BigQuery overzetten

Deze optie, namelijk BigQuery, lijkt op het eerste gezicht de meest logische voor projecten van een bepaalde omvang, maar heeft verschillende nadelen:

Het eerste is technisch. Als je geen developer bent of geen stevige technische achtergrond hebt, zul je iemand moeten inhuren voor deze optie. En waarschijnlijk is dat om de volgende reden niet rendabel.

Universal Analytics-gegevens (vanaf nu UA) worden geëxporteerd in RAW-formaat, dus onbewerkt. Dat betekent dat je geen rapporten in een grafische interface ziet zoals je gewend was, maar dat je de gegevens eerst moet formatteren.

Na het overzetten ligt er nog een flinke hoeveelheid werk.

Bovendien moet je bij deze en alle andere routes weten dat de vergelijking van geëxporteerde UA-gegevens met GA4 niet zal overeenkomen, omdat gegevens in UA en GA4 op een andere manier worden verzameld, waardoor je een moment moet kiezen waarop je van gegevens uit de ene bron naar de andere overschakelt en er een duidelijke breuk ontstaat.

Het grootste probleem zijn Year on Year-vergelijkingen, die vaak weinig zin hebben als we GA4-gegevens voor de ene periode moeten vergelijken met UA-gegevens voor een andere.

En ik herhaal: dit is een algemeen probleem, niet alleen een probleem van BQ.

Als je toch BigQuery wilt gebruiken, vind je hier een uitstekend artikel met de stap-voor-stap uitleg.

Optie 2: De gegevens handmatig vanuit de interface van de tool naar CSV exporteren

Nou, het is een optie.

Ik heb die destijds onderzocht om te zien hoeveel vooraf ingestelde of handmatige rapporten ik daarvoor nodig zou hebben.

En welk gegevensbereik ik kon kiezen zonder dat sampling, iets wat ik je ten zeerste aanraad te vermijden.

Toen ik keek naar het aantal te exporteren rapporten, de hoeveelheid gegevens en het feit dat je maar 5.000 rijen tegelijk per rapport kunt exporteren, heb ik dit systeem voor mijn situatie volledig afgeschreven.

Hoe dan ook, als je website niet erg groot is en je maar 3 of 4 rapporten nodig hebt – vooraf ingesteld of aangepast – plus een dimensie ‘maand van het jaar’ (die jaar en maand samenvoegt), zou ik ernaar kijken, want binnen een uur kun je de back-up van je historische data klaar hebben.

Optie 3: De gegevens handmatig via de API naar CSV exporteren

De eenvoudigste manier om de Universal Analytics-API te gebruiken is via de grafische interface hier:

https://ga-dev-tools.google/dimensions-metrics-explorer

Eenmaal in onze geliefde Query Explorer, kies je de UA-property en de dimensies, statistieken en perioden die je nodig hebt:

En je downloadt de gegevens:

Dit is de kern van wat je moet doen. Er komt nog wat meer bij kijken (zoals sampling controleren), maar het is opnieuw een optie.

Het voordeel ten opzichte van de vorige methode is dat je 10.000 rijen tegelijk, dus het dubbele, waardoor je wat meer ruimte hebt om dimensies aan elke export toe te voegen.

Het nadeel is dat je de Engelse namen van statistieken en dimensies moet kennen.

Optie 4: Een eigen oplossing ontwikkelen en de API gebruiken om gegevens naar wens op te slaan of te exporteren

Ik ga niet in detail, maar als je developer bent, vind je hier alle documentatie die je nodig hebt om de API in je project te gebruiken:

https://developers.google.com/analytics/devguides/reporting/core/v4?hl=es

Optie 5: Semi- of volledig geautomatiseerde systemen gebruiken

Er zijn er verschillende, maar ik vertel je over de twee die ik zelf heb getest.

Supermetrics

Het is een professionele tool. Hij maakt verbinding met je UA-account en haalt de gegevens op naar Excel of Google Sheets:

https://supermetrics.com/products/google-sheets?idev_id=2461

Ik gebruikte het bij MásMóvil voor bepaalde reportings en we waren er behoorlijk tevreden over. Vooral om drie redenen:

• Relatief eenvoudig te gebruiken.
• Krachtig.
• Betaalbaar.

Als je deze manier van gegevens exporteren interessant vindt, vind je hier nog een tutorial van Himanshu Sharma met het volledige stappenplan.

Weet ook dat er een gratis plugin bestaat die vergelijkbaar is met Supermetrics, met hetzelfde doel: UA-gegevens naar Google Sheets overzetten. Maar ik vind dat de (lage) prijs van Supermetrics opweegt tegen het grotere gebruiksgemak en de kracht.

GA3 Exporter

De eenvoudige oplossing voor kleine projecten:

https://ga3-exporter.com

Je kunt gratis één property en maximaal 100.000 sessies per jaar exporteren.

Het proces is doodsimpel. Zo simpel dat ik niet eens screenshots toevoeg. Dit is het:

1. Log in met je Google-account.
2. Kies de UA-property en het account.
3. Kies het gratis abonnement.
4. Wacht tot het proces klaar is (ongeveer 10 min. volgens hen). Je krijgt per e-mail bericht wanneer je het rapport kunt downloaden.
5. Download de gegevens.

Het resultaat is een verklarende PDF zonder cijfers. Prima voor heel eenvoudige projecten:

Wil je de cijfers, dan moet je betalen.

Maar goed, met dit en een aangepast UA-rapport met 5 dimensies heb je de export voor persoonlijke projecten in minder dan 15 minuten geregeld.

Optie 6: Looker Studio gebruiken om de gegevens handmatig naar Excel of CSV te exporteren

Goed, we zijn bij de laatste optie aangekomen. Dit is de methode die ik zelf ga gebruiken en die ik je wil uitleggen.

Ik ga een Looker Studio-rapport gebruiken om de gegevens op te halen, ze naar CSV te exporteren en op te slaan in een Excel-bestand met meerdere tabbladen.

Daar zijn drie redenen voor:

• Het is gratis.
• Het is krachtig: ik heb eerder al uitgelegd hoe je meer dan 10.000 rijen uit Google Analytics in één keer exporteert. En dat systeem ga ik nu gebruiken.
• Het is relatief eenvoudig. En nog meer met wat ik je zo ga vertellen.
• Het is relatief snel: ik had een volledige dag nodig om de template te maken en de dimensies en periode te controleren om sampling te vermijden. Toen het scenario eenmaal vaststond, kostten de export en het overzetten naar het eindbestand me 4 uur. En dat terwijl de granulariteit die ik heb gekozen erg hoog is. Bij andere klantprojecten, met minder granulaire gegevens, kostte het me tussen één en twee uur.

Let op, er zijn ook nadelen. Het grootste is dat Looker Studio je niet waarschuwt of het gesamplede UA-gegevens ophaalt voor de betreffende periode. Je moet dus een vergelijkbaar rapport in UA openen en dit controleren en vervolgens de periode die je ophaalt of het aantal gelijktijdige variabelen in Looker Studio aanpassen.

In mijn geval heb ik vooraf een aantal aannames gemaakt:

• De te exporteren periode is altijd jaarlijks of halfjaarlijks. Het gaat om 10 jaar aan gegevens, dus ik zie geen kortere periode voor me die me tot nog meer exports dwingt. Als ik dimensies moet verwijderen, doe ik dat.
• In sommige gevallen, zoals bij het pagina-rapport, wilde ik de gegevens per dag exporteren, moest ik het per maand doen, omdat Excel een limiet van 1M rijen per werkblad heeft en één jaar al 800k rijen besloeg. Ja, ik had meerdere Excel-bladen kunnen gebruiken, maar ik hield liever één blad aan en vereenvoudigde per maand.
• Er is een interessante statistiek, zoals de conversieratio van de checkout, die ik niet heb geëxporteerd. Als ik die nodig heb, kan ik hem altijd berekenen met de rest van de geëxporteerde gegevens.

Goed, nu mijn voorwaarden zijn uitgelegd, vertel ik je het proces.

#1. De omvang van de back-up van historische gegevens bepalen

Zorg dat wat je wilt bewaren relevant is. Ik leg het uit: je kunt ‘alle mogelijke gegevens’ willen, maar voordat je deze route kiest, moet je jezelf drie vragen stellen:

1. Zijn mijn UA-gegevens van voldoende kwaliteit? Met andere woorden: heb ik aandacht besteed aan digitale analytics, de implementatie van de tool, campagnetagging, filters, het controleren van het aantal transacties…? Als het antwoord nee is, kan ik je verzekeren dat al die gegevens je HELEMAAL niets zullen opleveren. Want als je er niet naar omkeek toen het actuele gegevens waren, ga je er nog minder naar omkijken wanneer ze tot het verleden behoren.
2. Welke gegevens ga ik in de toekomst echt bekijken? Waarschijnlijk concentreer je je op verkeer (jaarlijks of hooguit maandelijks) en op de omzet en conversies die het opleverde. Misschien splits je dat verkeer uit per kanaal of, bij multinationale projecten, per land. En als je echt een nerd bent, per apparaatcategorie. Maar dat is het. Exporteer geen gegevens waarvan je WEET dat je ze ‘voor het geval dat’ nooit gaat bekijken. Vooral vanwege het volgende punt.
3. Hoe meer rapporten en granulariteit, hoe meer tijd ik aan de extractie besteed. Kun je er anderhalve dag aan besteden zoals ik deed, of is het de moeite waard om iemand daarvoor te betalen om de back-up te krijgen?

Het resultaat van deze afbakening kan tot compleet verschillende scenario’s leiden.

Eenvoudige back-up

En wat we nodig hebben kan zo eenvoudig zijn als dit:

Geavanceerde back-up

Of zo complex als bij Yo pongo el hielo, met acht verschillende rapporten die elk andere dimensies, statistieken, extractieperioden en aandachtspunten hebben:

Kanalen

• Dimensies: Datum: per dag of maand Bron / Medium Campagne

• Fuente / Medio

• Campaña

• Apparaatcategorie

Statistieken: Gebruikers Sessies Paginaweergaven Transacties

• Sesiones

• Páginas vistas

• Transacciones

• Omzet

Extractie: jaarlijks

Landen

• Dimensies: Jaar Maand Land Bron / Medium

• Mes

• País

• Fuente / Medio

• Apparaatcategorie

Statistieken: Gebruikers Sessies Paginaweergaven Transacties

• Sesiones

• Páginas vistas

• Transacciones

• Omzet

Extractie: halfjaarlijks

Aandachtspunten: er zijn geen gegevens vóór april 2020; bron en medium moeten worden verwijderd en de waarde ‘(not set)’ aan de variabele worden toegevoegd

Gebeurtenissen

• Dimensies: Datum: per dag of maand Gebeurteniscategorie Gebeurtenisactie

• Categoría evento

• Acción evento

• Gebeurtenislabel

Statistieken: Totaal aantal gebeurtenissen

• Unieke gebeurtenissen

Extractie: jaarlijks

Aandachtspunten: er zijn geen gegevens voor mei 2016 of eerder

Zoekopdrachten

• Dimensies: Jaar Maand

• Mes

• Zoekterm

Statistieken: Totaal unieke zoekopdrachten % zoekafsluitingen % verfijningen Tijd na zoeken

• % de abandonos tras búsqueda

• % de refinamiento

• Tiempo después de búsqueda

• Gemiddeld aantal paginaweergaven na zoeken

Extractie: jaarlijks

Pagina’s

• Dimensies: Jaar Maand

• Mes

• Pagina

Statistieken: Paginaweergaven

• Tijd op pagina

Extractie: volledige periode (10 jaar)

Aandachtspunten: datum wijzigen in maand vanwege het volume aan URLs

Landingspagina’s

• Dimensies: Jaar Maand Landingspagina

• Mes

• Landing

• Bron / Medium

Statistieken: Sessies Nieuwe gebruikers Bounce Transacties

• Nuevos usuarios

• Rebote

• Transacciones

• Conversieratio

Extractie: halfjaarlijks

Aandachtspunten: geen bron en medium vóór april 2020. We voegen ‘(not set)’ toe aan deze waarden.

Ecommerce Producten

• Dimensies: Jaar Maand

• Mes

• Producten

Statistieken: Bekeken Toegevoegd aan winkelwagen

• Agregados al carrito

• Gekocht

Extractie: jaarlijks

Ecommerce Promoties

• Dimensies: Datum

• Naam van de promotie

Statistieken: Weergaven

• Klikken

Extractie: jaarlijks

Belangrijk: deze back-updefinitie is voor een ecommerce-site, dus de enige conversies die ik meeneem zijn transacties. Als je dit als leidraad gebruikt of de template wilt gebruiken die ik zelf heb gebruikt en die je hier kunt krijgen, controleer dit punt dan voor jouw situatie:

Je kunt de template downloaden hier:

Tussenliggende back-up

Tussen basic en geavanceerd kan een middenweg liggen die bij je project past, maar dat moet jij beslissen, op basis van de drie vragen waarmee ik deze paragraaf begon.

Lees ze opnieuw, neem even de tijd om ze af te wegen en bepaal je behoeften.

Nu ga ik verder met de volgende stap van het proces dat ik bij Yo pongo el hielo heb gevolgd.

#2. Een rapport maken of gebruiken in Looker Studio

Open Looker Studio. Je hebt twee opties:

1. Een rapport maken dat is afgestemd op je behoeften.
2. De template gebruiken die ik hierboven beschikbaar heb gesteld en die de 8 rapporten bevat die ik in het overzicht heb laten zien.

Als je voor de tweede optie kiest, kun je die naar wens bewerken -ik leg zo uit hoe-, maar eerst moet je via het menu een kopie van het rapport maken: Bestand > Kopie maken.

En de UA-property selecteren waaruit je de gegevens wilt halen.

#3. Gegevens en periode selecteren

Als je eenmaal in je kopie zit, selecteer je hier je UA-property en -weergave, plus het gegevensbereik dat je wilt gebruiken:

Dit moet je op elke pagina van het rapport herhalen.

#4. Dimensies en statistieken bewerken

Als er iets in het rapport niet bij je past, kun je optioneel dimensies en statistieken wijzigen door eerst op de tabel te klikken, zodat het paneel Eigenschappen wordt geopend:

Het is net zo eenvoudig als aangepaste rapporten maken in UA of verkenningen in GA4.

#5. De gegevens exporteren

Goed, tot nu toe is er niets wat je niet ook had kunnen doen met Query Explorer waar ik eerder over sprak, maar hier komt de magie van Looker Studio, omdat het ons veel meer dan 10.000 rijen laat exporteren.

Ik ken de limiet niet, maar ik kan je vertellen dat ik bestanden met 800.000 rijen heb geëxporteerd.

Ik weet niet of je beseft hoe belangrijk dit is, dus voor de zekerheid leg ik het uit: met Looker Studio exporteer ik één keer en heb ik dat bestand met 800k regels.

Als ik hetzelfde met Query Explorer wil doen, moet ik 80 bestanden met elk 10k rijen exporteren, openen en de resultaten in het eerste bestand kopiëren en plakken om dezelfde CSV van 800k te krijgen.

Eén klik vs 160? En telkens wachten tussen de stappen.

Geen vergelijking.

Goed, om te exporteren hoef je alleen maar:

#1. In het rapport in bewerkingsmodus te staan, niet in weergavemodus (zonder de blauwe knop te activeren):

#2. Met de rechtermuisknop op de tabel klikken of op deze drie puntjes klikken:

#3. Waarden exporteren. Dit zijn de opties die ik aanbeveel, tenzij je goed weet waarom je andere nodig hebt:

De reden is dat LibreOffice de waarden beter herkent.

#6. De CSV openen in LibreOffice

Ik raad dit programma aan om CSVs te openen, omdat het in het algemeen en bij Spaanse instellingen waarden, decimalen en andere taalspecifieke kenmerken beter herkent dan Excel:

Ja, in Excel kun je aangeven hoe het bestand moet worden geïnterpreteerd en dan opent het ook goed, maar in mijn geval ben ik sneller door het in LibreOffice te openen, de waarden te kopiëren en in Excel te plakken. Jij kunt het doen zoals je wilt.

Let op: als je bij het maken van de kopie van het rapport de verkeerde property hebt gekozen, kunnen de waarden in dollars in plaats van euro’s verschijnen en staan de statistieken in het Engels.

Om dat te voorkomen hoef je hier alleen een property met ‘Spaanse’ waarden te selecteren:

#7. Alles samenvoegen in één Excel-bestand

De laatste stap.

Nu is het tijd om de gegevens op te slaan in een Excel-bestand, Google Sheets of welke spreadsheet je ook maar wilt.

Ik heb het zo gedaan:

Met andere woorden, één werkblad voor elk rapport. In elk daarvan heb ik de volledige historische dataset.

Om de volledige historie te krijgen, heb ik bij mijn 10 jaar gegevens en de jaarlijkse of halfjaarlijkse downloads uit Looker Studio het volgende gedaan:

1. De CSV van de betreffende periode downloaden.
2. Openen in LibreOffice.
3. De waarden in Excel plakken.
4. De vorige periode in Looker Studio selecteren en exporteren.
5. Openen in LibreOffice.
6. De waarden plakken (zonder de kopteksten, want die hebben we al uit de vorige CSV).

En zo verder tot de 10 jaar van de 8 rapporten volledig zijn ingevuld.

Met dit systeem en ons datavolume lag het totale aantal downloads rond de 100, zodat je een idee hebt. En het resulterende Excel-bestand is 100MB groot.

#8. Het bestand in de cloud opslaan

Deze laatste stap is optioneel, maar sterk aanbevolen: zodra je klaar bent, sla je het resulterende bestand op in twee clouddiensten, zodat je het altijd kunt terughalen, wat er ook gebeurt.

Naar mijn mening zijn de gegevens die erin staan heel, maar dan ook heel waardevol. En zo moet je ermee omgaan.

Nog een paar opmerkingen

Voordat ik het artikel afsluit, wil ik nog enkele aspecten noemen waar we nog niet over hebben gesproken en die invloed hebben op de export.

Websites met meerdere domeinen

Als je project internationaal is en bijvoorbeeld een .es, .fr en .pt omvat, is de kans groot dat je voor elk domein aparte UA-properties hebt.

Dus als je geen roll-up-property hebt ingesteld, zit er niets anders op dan het proces voor elk domein te herhalen.

Wijzigingen in properties of weergaven

Het is ook mogelijk dat, als je project al meerdere jaren bestaat, de ‘officiële’ UA-property of weergave op een bepaald moment is veranderd. De gegevens van de eerste jaren staan dan in de ene en die van de latere jaren in een andere.

In die gevallen moet je een datum voor de overgang bepalen en voor elke te exporteren periode de juiste combinatie van property en datum selecteren:

Bij het samenvoegen ontstaan er geen problemen zolang je geen gegevens dubbel opneemt door een overlappende datumperiode te gebruiken (wat je niet zou moeten doen).

Onjuiste combinaties van dimensies

Als je het rapport maakt of bewerkt, kun je iets als dit tegenkomen:

Er zijn geen gegevens.

Dit gebeurt wanneer er een combinatie van dimensies is die UA niet ondersteunt. Nooit, of alleen niet in een bepaalde periode.

Dit gebeurt bijvoorbeeld als je de dimensie ‘Apparaatcategorie’ aan het rapport hebt toegevoegd en gegevens van 2019 of eerder probeert op te halen.

In mijn geval had ik die dimensie nodig en heb ik het als volgt opgelost:

• Vanaf april 2020 is die ingevuld.
• Voor eerdere perioden heb ik hem uit het Looker Studio-rapport verwijderd.
• Na het exporteren van de gegevens heb ik in het resulterende Excel-bestand voor oudere datums de waarde ‘(not set)’ toegevoegd in de kolom voor ‘Apparaatcategorie’:

Omzetten naar getal in Excel

Ondanks de aangegeven instellingen is de kans groot dat Excel bij valutavelden, zoals omzet, meldt dat er een fout is: ‘Getal opgeslagen als tekst’”:

Om dit te corrigeren, moet je:

1. De hele kolom selecteren.
2. Op het pictogram klikken zodat het bovenstaande venster wordt geopend.
3. ‘Converteren naar getal’ selecteren.

Excel zet die waarden om in getallen en daarna kun je ermee rekenen.

Conclusies

We sluiten een intens artikel af, net als de analyse van de verschillende beschikbare opties om je historische Universal-gegevens op te slaan.

Ik hoop dat het je heeft geholpen om de opties te leren kennen die je tot je beschikking hebt en de methode te kiezen die het beste bij je past. Dat kan een heel eenvoudige zijn of de methode die ik heb gevolgd, die veel datagranulariteit biedt en waarmee je achteraf veel zaken kunt controleren.

Met de template die ik met je heb gedeeld, wordt het in elk geval eenvoudiger dan vanaf 0 beginnen.

Hoe dan ook: kies er één, desnoods een basisoptie, en bewaar die gegevens. Je zult er geen spijt van krijgen; van het tegenovergestelde wel. Je hebt tot 1 juli om het af te ronden.

Zoals altijd: als je het artikel goed vond, vind je hier meer GA4-tips, en als je elke donderdag mijn wekelijkse artikel per e-mail wilt ontvangen, schrijf je hier in.