Jak wyeksportować historyczne dane z Universal Analytics

To artykuł, który warto przeczytać, jeśli masz średniej wielkości stronę z kilkuletnią historią.

Zwłaszcza jeśli poświęciłeś trochę czasu na jej analitykę.

Bo w takim przypadku najprawdopodobniej masz solidny historyczny zestaw danych w Universal Analytics.

I wiesz, że za kilka dni, dokładnie 1 lipca 2024, Google przeprowadzi masowe usuwanie danych -największe w historii, no proszę (he he)- i usunie dane Twojej strony razem z danymi milionów innych stron na całym świecie.

Znasz ten komunikat?

Tak już jest.

Czy mogę zapłacić, żeby zachować swoje dane?

Nie.

A przynajmniej nie bezpośrednio w usłudze Universal Analytics dostępnej z konta Google tak jak dotychczas.

Ale są alternatywy. Darmowe i płatne.

W tym artykule opowiem Ci o najważniejszych z nich oraz o tych, których sam użyję na swoich stronach i stronach klientów.

Czyli wyjaśnię krok po kroku proces, który zastosuję u siebie, razem z raportem Looker Studio, którego użyję do eksportu, abyś mógł skorzystać z niego również Ty, jeśli Cię to interesuje.

A prawdopodobnie tak.

Sposoby na zapisanie historycznych danych z Universal Analytics

Jest ich kilka i są różne, ale najważniejsze to:

1. Przenieść dane do Google BigQuery.
2. Ręcznie wyeksportować dane z interfejsu narzędzia do CSV.
3. Ręcznie wyeksportować dane z API do CSV.
4. Stworzyć własne rozwiązanie i użyć API do zapisu lub eksportu danych w potrzebny sposób.
5. Użyć Looker Studio do ręcznego eksportu danych do Excel lub CSV.
6. Użyć systemów częściowo lub całkowicie zautomatyzowanych.

Omówmy każdą z tych opcji.

Opcja 1: Przenieść dane do Google BigQuery

Ta opcja, czyli użycie BigQuery, na pierwszy rzut oka wydaje się najbardziej logiczna dla projektów o pewnej skali, ale ma kilka wad:

Pierwsza jest techniczna. Jeśli nie jesteś programistą lub nie masz solidnego zaplecza technicznego, będziesz musiał zlecić tę opcję komuś innemu. A z poniższego powodu może się to po prostu nie opłacać.

Dane Universal Analytics (od tej pory UA) są eksportowane w formacie RAW, czyli bez przetworzenia. Oznacza to, że nie zobaczysz raportów w interfejsie graficznym, do którego przywykłeś, tylko będziesz musiał sformatować dane.

Po samym przeniesieniu czeka jeszcze sporo godzin pracy.

Dodatkowo, zarówno w tej metodzie, jak i w każdej innej, musisz wiedzieć, że porównanie wyeksportowanych danych UA z GA4 nie będzie się zgadzać, ponieważ dane są zbierane w UA i GA4 w inny sposób, więc trzeba będzie wybrać moment przejścia z danych jednego źródła na drugie, a wtedy pojawi się wyraźna zmiana.

Największym problemem będą porównania Year on Year, które często nie będą miały sensu, jeśli dla jednego okresu musimy porównywać dane GA4, a dla drugiego UA.

I powtarzam: to problem ogólny, nie tylko BQ.

Jeśli mimo wszystko chcesz użyć BigQuery, zostawiam Ci świetny artykuł z instrukcją krok po kroku.

Opcja 2: Ręcznie wyeksportować dane z interfejsu narzędzia do CSV

No cóż, to jest opcja.

Analizowałem ją swego czasu, żeby sprawdzić, ilu raportów standardowych lub własnych będę potrzebował.

I jaki zakres danych mogę wybrać bez pojawienia się próbkowania, którego zdecydowanie radzę unikać za wszelką cenę.

Patrząc na liczbę raportów do eksportu, ilość danych i wiedząc, że można wyeksportować tylko 5.000 wierszy naraz na raport, całkowicie odrzuciłem ten system w swoim przypadku.

Tak czy inaczej, jeśli Twoja strona nie jest bardzo duża i potrzebujesz tylko 3 lub 4 raportów standardowych lub własnych oraz wymiaru „miesiąc roku” (który łączy rok i miesiąc w jeden), rozważyłbym tę opcję, bo w mniej niż godzinę możesz mieć gotowy backup danych historycznych.

Opcja 3: Ręcznie wyeksportować dane z API do CSV

Najprostszy sposób użycia API Universal Analytics to wejście do jego interfejsu graficznego tutaj:

https://ga-dev-tools.google/dimensions-metrics-explorer

Gdy jesteś już w naszym ukochanym Query Explorer, wybierasz usługę UA, interesujące Cię wymiary, dane i okresy:

I pobierasz dane:

To jest sedno tego, co musisz zrobić. Jest jeszcze trochę więcej zabawy (na przykład sprawdzanie próbkowania), ale to kolejna opcja.

Zaletą w porównaniu z poprzednią jest możliwość eksportu 10.000 wierszy naraz, czyli dwa razy więcej, co daje trochę większą swobodę przy dodawaniu wymiarów do każdego eksportu.

Wadą jest to, że musisz znać angielskie nazwy danych i wymiarów.

Opcja 4: Stworzyć własne rozwiązanie i użyć API do zapisu lub eksportu danych według potrzeb

Nie będę wchodził w szczegóły, ale jeśli jesteś programistą, tutaj znajdziesz całą dokumentację potrzebną do użycia API w projekcie:

https://developers.google.com/analytics/devguides/reporting/core/v4?hl=es

Opcja 5: Użyć systemów częściowo lub całkowicie zautomatyzowanych

Jest ich kilka, ale opowiem Ci o dwóch, które sam przetestowałem.

Supermetrics

To profesjonalne narzędzie. Łączy się z Twoim kontem UA i pobiera dane do Excel lub Google Sheets:

https://supermetrics.com/products/google-sheets?idev_id=2461

Używałem go w MásMóvil do niektórych raportów i byliśmy z niego całkiem zadowoleni. Głównie z trzech powodów:

• Stosunkowo łatwe w obsłudze.
• Potężne.
• Tanie.

Jeśli interesuje Cię ta metoda eksportu danych, zostawiam kolejny poradnik Himanshu Sharmy z pełną instrukcją krok po kroku.

Warto też wiedzieć, że istnieje jakiś darmowy plugin podobny do Supermetrics, którego cel jest taki sam: przeniesienie danych UA do Google Sheets. Uważam jednak, że (niska) cena Supermetrics rekompensuje większą łatwość obsługi i możliwości.

GA3 Exporter

Proste rozwiązanie dla małych projektów:

https://ga3-exporter.com

Za darmo możesz wyeksportować jedną usługę i do 100.000 sesji rocznie.

Proces jest banalnie prosty. Tak prosty, że nawet nie wrzucam zrzutów ekranu. Wygląda tak:

1. Logujesz się swoim kontem Google.
2. Wybierasz usługę i konto UA.
3. Wybierasz darmowy plan.
4. Czekasz na zakończenie procesu (podają około 10 min.). Dostaniesz e-mail, gdy raport będzie gotowy do pobrania.
5. Pobierasz dane.

Wynikiem jest PDF z objaśnieniem, bez liczb. Wystarczy do bardzo prostych projektów:

Jeśli chcesz liczby, trzeba już zapłacić.

Ale tak czy inaczej, dzięki temu i własnemu raportowi UA z 5 wymiarami możesz zamknąć eksport w projektach prywatnych w mniej niż 15 minut.

Opcja 6: Użyć Looker Studio do ręcznego eksportu danych do Excel lub CSV

Dobrze, dochodzimy do ostatniej opcji, czyli tej, której sam użyję i którą chcę Ci wyjaśnić.

Użyję raportu Looker Studio do pobrania danych, wyeksportuję je do CSV i zapiszę w pliku Excel z kilkoma zakładkami.

Są trzy powody:

• Jest darmowe.
• Jest potężne: już wcześniej mówiłem Ci, jak wyeksportować ponad 10.000 wierszy z Google Analytics naraz. I właśnie tego sposobu użyję teraz.
• Jest stosunkowo proste. A jeszcze bardziej dzięki temu, co zaraz Ci powiem.
• Jest stosunkowo szybkie: stworzenie szablonu oraz sprawdzenie wymiarów i zakresu czasu, tak aby uniknąć próbkowania, zajęło mi cały dzień. Gdy scenariusz był już zdefiniowany, eksport i przeniesienie danych do pliku końcowego zajęły mi 4 godziny. I to przy bardzo wysokiej granularności, którą wybrałem. W innych projektach klientów, z mniej granularnymi danymi, zajmowało mi to od jednej do dwóch godzin.

Uwaga, są też pewne wady. Największa jest taka, że Looker Studio nie informuje, czy pobiera próbkowane dane UA, czy nie dla danego okresu. Musisz więc otworzyć podobny raport w UA i to sprawdzić, a następnie zmieniać pobierany okres lub liczbę jednoczesnych zmiennych w Looker Studio.

W moim przypadku przyjąłem wcześniej kilka założeń:

• Eksportowany okres będzie zawsze roczny lub półroczny. To 10 lat danych, więc nie wyobrażam sobie krótszego okresu, który wymusiłby więcej eksportów. Jeśli będę musiał usunąć wymiary, zrobię to.
• W niektórych przypadkach, jak w raporcie stron, mimo że chciałem pobrać dane dzienne, musiałem zrobić to miesięcznie, ponieważ Excel ma limit 1M wierszy na arkusz, a jeden rok zajmował już 800k wierszy. Tak, mogłem użyć kilku arkuszy Excel, ale wolałem zostawić jeden i uprościć dane do miesięcy.
• Jest interesujący wskaźnik, taki jak współczynnik konwersji checkoutu, którego nie wyeksportowałem. Jeśli będzie mi potrzebny, zawsze mogę go obliczyć na podstawie pozostałych wyeksportowanych danych.

Dobrze, skoro moje założenia wstępne są już wyjaśnione, przejdźmy do procesu.

#1. Określić zakres backupu danych historycznych

Upewnij się, że to, czego chcesz, rzeczywiście ma znaczenie. Wyjaśnię: możesz chcieć „wszystkich możliwych danych”, ale przed wybraniem tej drogi warto zadać sobie trzy pytania:

1. Czy moje dane UA mają wystarczającą jakość? Czyli: czy dbałem o analitykę cyfrową, implementację narzędzia, tagowanie kampanii, filtry, kontrolę liczby transakcji…? Jeśli odpowiedź brzmi nie, zapewniam Cię, że posiadanie wszystkich danych NIE przyda Ci się do niczego. Bo jeśli nie interesowały Cię, kiedy były aktualne, tym bardziej nie zainteresują Cię, gdy będą przeszłością.
2. Jakie dane naprawdę będę sprawdzać w przyszłości? Najprawdopodobniej skupisz się na ruchu (rocznym lub najwyżej miesięcznym) oraz wygenerowanych przychodach i konwersjach. Być może rozbijesz ruch na kanały albo, w projektach międzynarodowych, na kraje. A jeśli jesteś naprawdę geekiem, na kategorie urządzeń. I tyle. Nie eksportuj danych, o których WIESZ, że nigdy nie będziesz ich sprawdzać „na wszelki wypadek”. Zwłaszcza z powodu kolejnego punktu.
3. Im więcej raportów i większa granularność, tym więcej czasu poświęcę na ekstrakcję. Czy możesz przeznaczyć na to półtora dnia, jak ja, czy bardziej opłaca się zapłacić komuś tę kwotę za wykonanie backupu?

Wynik takiego określenia zakresu może prowadzić do zupełnie różnych scenariuszy.

Prosty backup

Bo to, czego potrzebujemy, może być tak proste jak to:

Zaawansowany backup

Albo tak złożone jak w przypadku Yo pongo el hielo, gdzie jest osiem różnych raportów, każdy z innymi wymiarami, danymi, okresami ekstrakcji i uwagami:

Kanały

• Wymiary: Data: dziennie lub miesięcznie Źródło / Medium Kampania

• Fuente / Medio

• Campaña

• Kategoria urządzenia

Metryki: Użytkownicy Sesje Wyświetlenia stron Transakcje

• Sesiones

• Páginas vistas

• Transacciones

• Przychody

Ekstrakcja: roczna

Kraje

• Wymiary: Rok Miesiąc Kraj Źródło / Medium

• Mes

• País

• Fuente / Medio

• Kategoria urządzenia

Metryki: Użytkownicy Sesje Wyświetlenia stron Transakcje

• Sesiones

• Páginas vistas

• Transacciones

• Przychody

Ekstrakcja: półroczna

Uwagi: brak danych sprzed kwietnia 2020; trzeba usunąć źródło i medium oraz dodać wartość „(not set)” do zmiennej

Zdarzenia

• Wymiary: Data: dziennie lub miesięcznie Kategoria zdarzenia Działanie zdarzenia

• Categoría evento

• Acción evento

• Etykieta zdarzenia

Metryki: Łączna liczba zdarzeń

• Unikalne zdarzenia

Ekstrakcja: roczna

Uwagi: brak danych z maja 2016 i wcześniejszych

Wyszukiwania

• Wymiary: Rok Miesiąc

• Mes

• Fraza wyszukiwania

Metryki: Łączna liczba unikalnych wyszukiwań % wyjść po wyszukiwaniu % doprecyzowań Czas po wyszukiwaniu

• % de abandonos tras búsqueda

• % de refinamiento

• Tiempo después de búsqueda

• Średnia liczba wyświetleń stron po wyszukiwaniu

Ekstrakcja: roczna

Strony

• Wymiary: Rok Miesiąc

• Mes

• Strona

Metryki: Wyświetlenia stron

• Czas na stronie

Ekstrakcja: cały okres (10 lat)

Uwagi: zmiana daty na miesiąc z powodu liczby URLs

Landing pages

• Wymiary: Rok Miesiąc Landing page

• Mes

• Landing

• Źródło / Medium

Metryki: Sesje Nowi użytkownicy Odrzucenia Transakcje

• Nuevos usuarios

• Rebote

• Transacciones

• Współczynnik konwersji

Ekstrakcja: półroczna

Uwagi: brak źródła i medium przed kwietniem 2020. Do tych wartości dodajemy „(not set)”.

Ecommerce Produkty

• Wymiary: Rok Miesiąc

• Mes

• Produkty

Metryki: Wyświetlone Dodane do koszyka

• Agregados al carrito

• Zakupione

Ekstrakcja: roczna

Ecommerce Promocje

• Wymiary: Data

• Nazwa promocji

Metryki: Wyświetlenia

• Kliknięcia

Ekstrakcja: roczna

Ważne: ta definicja backupu dotyczy ecommerce, dlatego jedynymi konwersjami, które uwzględniam, są transakcje. Jeśli używasz jej jako przewodnika albo chcesz skorzystać z szablonu, którego sam użyłem i który możesz pobrać tutaj, sprawdź ten punkt w swoim przypadku:

Szablon możesz pobrać tutaj:

Backup pośredni

Między wersją podstawową a zaawansowaną może istnieć rozwiązanie pośrednie dopasowane do Twojego projektu, ale musisz zdecydować sam, na podstawie trzech pytań, od których zacząłem tę sekcję.

Przeczytaj je ponownie, zatrzymaj się na chwilę, oceń je i określ swoje potrzeby.

Teraz przechodzę do kolejnego kroku procesu, który zastosowałem w Yo pongo el hielo.

#2. Utworzyć lub użyć raportu w Looker Studio

Otwórz Looker Studio. Masz dwie opcje:

1. Utworzyć raport dopasowany do swoich potrzeb.
2. Użyć szablonu, który udostępniłem wyżej i który zawiera 8 raportów przedstawionych na schemacie.

Jeśli wybierzesz drugą opcję, możesz ją dowolnie edytować -zaraz wyjaśnię jak-, ale najpierw utwórz kopię raportu z menu: Plik > Utwórz kopię.

I wybierz usługę UA, z której chcesz pobrać dane.

#3. Wybrać dane i okres

Gdy jesteś już w swojej kopii, wybierz usługę i widok UA oraz zakres danych, którego chcesz użyć, tutaj:

Musisz to powtórzyć na każdej stronie raportu.

#4. Edytować wymiary i dane

Opcjonalnie, jeśli coś w raporcie Ci nie odpowiada, możesz zmienić wymiary i dane, klikając najpierw tabelę, aby otworzyć panel Właściwości:

To równie proste jak tworzenie raportów niestandardowych w UA lub eksploracji w GA4.

#5. Wyeksportować dane

Dobrze, do tej pory nie ma niczego, czego nie dałoby się zrobić w Query Explorer, o którym mówiłem wcześniej. Ale właśnie tutaj zaczyna działać magia Looker Studio, ponieważ pozwala nam wyeksportować znacznie więcej niż 10.000 wierszy.

Nie znam limitu, ale mogę Ci powiedzieć, że eksportowałem pliki z 800.000 wierszy.

Nie wiem, czy zdajesz sobie sprawę z wagi tej możliwości, więc wyjaśnię: w Looker Studio eksportuję raz i mam plik z 800k wierszy.

Gdybym chciał zrobić to samo w Query Explorer, musiałbym wyeksportować 80 plików po 10k wierszy, otworzyć je i kopiować oraz wklejać wyniki do pierwszego pliku, aby uzyskać ten sam CSV z 800k.

Jedno kliknięcie vs 160? I jeszcze czekanie między każdym krokiem.

Nie ma porównania.

Do eksportu wystarczy więc:

#1. Być w raporcie w trybie edycji, a nie podglądu (bez aktywowania niebieskiego przycisku):

#2. Kliknąć tabelę prawym przyciskiem albo kliknąć te trzy kropki:

#3. Wyeksportować wartości. Te opcje polecam, chyba że dobrze wiesz, dlaczego potrzebujesz innych:

Powód jest taki, że LibreOffice lepiej rozpoznaje wartości.

#6. Otworzyć CSV w LibreOffice

Polecam to narzędzie do otwierania CSV, ponieważ ogólnie, a szczególnie przy ustawieniach hiszpańskich, lepiej niż Excel rozpoznaje wartości, liczby dziesiętne i inne cechy językowe:

Tak, w Excel również możesz wskazać, jak ma interpretować plik, i otworzy go poprawnie, ale w moim przypadku szybciej jest otworzyć go w LibreOffice, skopiować wartości i wkleić je do Excel. Możesz zrobić to po swojemu.

Pamiętaj, że jeśli przy tworzeniu kopii raportu wybrałeś niewłaściwą usługę, wartości mogą pojawić się w dolarach zamiast w euro, a dane będą po angielsku.

Aby tego uniknąć, wystarczy wybrać tutaj usługę z „hiszpańskimi” wartościami:

#7. Połączyć wszystko w jednym pliku Excel

Ostatni krok.

To moment, żeby zapisać dane w pliku Excel, Google Sheets albo dowolnym arkuszu kalkulacyjnym.

Ja zrobiłem to tak:

Czyli, jeden arkusz dla każdego raportu. W każdym mam pełną historię danych.

Aby uzyskać pełną historię, ponieważ w moim przypadku było to 10 lat, a pobrania z Looker Studio obejmowały dane roczne lub półroczne, zrobiłem tak:

1. Pobrać CSV dla danego okresu.
2. Otworzyć go w LibreOffice.
3. Wkleić wartości do Excel.
4. Wybrać poprzedni okres w Looker Studio i go wyeksportować.
5. Otworzyć go w LibreOffice.
6. Wkleić wartości (bez nagłówków, bo mamy je już z poprzedniego CSV).

I tak dalej, aż do uzupełnienia 10 lat w 8 raportach.

Przy tym systemie i naszej ilości danych łączna liczba pobrań wyniosła prawie 100, żeby dać Ci wyobrażenie. Powstały plik Excel waży 100MB.

#8. Zapisać plik w chmurze

Ten ostatni krok jest opcjonalny, ale bardzo zalecany: gdy tylko skończysz, zapisz gotowy plik w dwóch usługach chmurowych, tak aby bez względu na to, co się stanie, zawsze dało się go odzyskać.

Moim zdaniem dane, które zawiera, mają ogromną, naprawdę ogromną wartość. I tak trzeba je traktować.

Jeszcze kilka uwag

Zanim zakończę artykuł, chcę wspomnieć o kilku kwestiach, o których jeszcze nie mówiliśmy, a które wpływają na eksport.

Strony wielodomenowe

Jeśli Twój projekt jest międzynarodowy i obejmuje np. .es, .fr i .pt, bardzo możliwe, że masz osobne usługi UA dla każdej domeny.

Jeśli więc nie masz usługi roll-up skonfigurowanej, nie pozostaje Ci nic innego, jak powtórzyć proces dla każdej domeny.

Zmiany usług lub widoków

Możliwe też, że jeśli projekt ma kilka lat, w pewnym momencie zmieniła się „oficjalna” usługa lub widok UA. Innymi słowy, dane z pierwszych lat znajdują się w jednym miejscu, a z kolejnych w innym.

W takich przypadkach musisz wyznaczyć datę przejścia i dla każdego eksportowanego okresu wybrać odpowiednią kombinację usługi i daty:

Przy łączeniu danych nie będzie problemu, o ile nie zduplikujesz ich przez uwzględnienie wspólnego zakresu dat (czego nie powinieneś robić).

Niewłaściwe kombinacje wymiarów

Jeśli tworzysz lub edytujesz raport, możesz natknąć się na coś takiego:

Nie ma danych.

Dzieje się tak, gdy występuje kombinacja wymiarów, której UA nie obsługuje. Nigdy albo w określonym okresie.

Na przykład wydarzy się to, jeśli dodasz do raportu wymiar „Kategoria urządzenia” i spróbujesz zebrać dane z 2019 lub wcześniejsze.

W moim przypadku potrzebowałem tego wymiaru, więc zastosowałem następujące rozwiązanie:

• Od kwietnia 2020 jest wypełniony.
• Dla wcześniejszych okresów usunąłem go z raportu Looker Studio.
• Po wyeksportowaniu danych w wynikowym pliku Excel dodałem wartość „(not set)” w kolumnie odpowiadającej „Kategorii urządzenia” dla starszych dat:

Konwersja na liczbę w Excel

Pomimo zastosowania wskazanych ustawień bardzo możliwe, że przy polach walutowych, np. przychodach, Excel zgłosi błąd „Liczba przechowywana jako tekst””:

Aby go poprawić, musisz:

1. Zaznaczyć całą kolumnę.
2. Kliknąć ikonę, aby otworzyć powyższe okno.
3. Wybrać „Konwertuj na liczbę”.

Excel zmieni te wartości na liczby i wtedy będzie można na nich wykonywać działania.

Wnioski

Kończymy intensywny artykuł, podobnie jak intensywna była analiza różnych dostępnych sposobów przechowywania historycznych danych Universal.

Mam nadzieję, że pomógł Ci poznać opcje które masz do dyspozycji, i wybrać tę najlepiej dopasowaną do Ciebie – od bardzo prostej po metodę, którą zastosowałem ja, zapewniającą dużą granularność danych i możliwość późniejszego sprawdzania wielu rzeczy.

Tak czy inaczej, z szablonem , który Ci udostępniłem, będzie łatwiej niż zaczynać od 0.

Niezależnie od wyboru, zdecyduj się na jedną metodę, choćby podstawową, i zapisz te dane. Nie pożałujesz, że to zrobiłeś; pożałujesz odwrotnej decyzji. Masz czas do 1 lipca.

Jak zawsze, jeśli spodobał Ci się artykuł, tutaj znajdziesz więcej wskazówek o GA4, a jeśli chcesz co czwartek dostawać mój cotygodniowy artykuł na e-mail, zapisz się tutaj.