Bij het SEO-werk voor elke website is het analyseren van de sitemap.
Controleren of er een is, wat erin staat, of hij beter kan…
Bij kleine websites is het belangrijk, maar bij grote sites, zoals ecommercewebsites met meerdere merken, is het absoluut cruciaal. In zulke projecten is het optimaliseren van het crawl budget –de tijd die de Googlebot krijgt om onze website te crawlen– een must als we goed willen scoren op competitieve zoektermen.
En een van de manieren om dat te doen, is de sitemap goed beheren.
In dit artikel leg ik uit hoe je hem analyseert. Maar eerst, voor het geval je net met SEO begint, starten we bij de basis…
Índice de Contenidos del Artículo
Wat is een sitemap?
Een Sitemap, of Sitemap.xml, is niets meer dan een bestand of een reeks bestanden in het formaat .xml die bots vertellen uit welke URL’s onze website bestaat.
Voor het geval je het niet weet: een .xml-bestand bevat meerdere records, elk met verschillende waarden voor bepaalde kenmerken:
Ook al ziet het er zo uit, denk eraan als een Excel-bestand waarin elke rij een record toont en elke kolom de waarde van dat record voor een bepaald kenmerk.
Je kunt het zelfs met Excel openen:
Zoals ik al zei, zou dat bestand alle URL’s van onze website moeten bevatten die we door Google willen laten crawlen.
Die nuance is belangrijk, want er kunnen URL’s zijn die we om welke reden dan ook niet willen indexeren (juridische mededelingen, het klantgedeelte van de gebruiker) en die niet in de sitemap horen.
Dit bestand moet op onze server staan. Zodra dat zo is (elk CMS kan het op een of andere manier genereren), geven we de URL door aan Google Search Console, zodat Googles crawler het kan gaan crawlen.
Nu je weet wat het is, leg ik uit hoe je het analyseert.
Proces om de sitemap te analyseren
Ik gebruik hiervoor Screaming Frog, waarschijnlijk de krachtigste tool die er bestaat voor on-page SEO.
Installeer hem dus eerst op je computer.
Zodra je hem hebt, leg ik uit hoe je de drie noodzakelijke stappen uitvoert.
#1. De URL van de sitemap achterhalen
Om een sitemap te analyseren, moet je hem eerst vinden.
En als het om onze website of een project dat we beheren gaat, kunnen we altijd naar GSC gaan.
Maar als we de sitemap van de concurrentie willen analyseren (ja, dat kan ook), moeten we hem lokaliseren.
Daarvoor openen we het bestand robots.txt.
Dat bestand staat in de hoofdmap van het domein. Voorbeeld:
https://www.yopongoelhielo.com/robots.txt
Als we het openen, zien we iets als dit:
Daar staat de URL die we nodig hebben.
We kopiëren hem en openen Screaming Frog.
#2. Screaming Frog configureren
Hier gaan we twee dingen aanpassen.
Het eerste is optioneel en eerlijk gezegd heb ik nooit gezien dat het de resultaten veranderde, maar ik doe het uit gewoonte.
Ik bedoel: open de configuratie en ga naar het onderdeel ‘User-Agent’, selecteer Googlebot (Smartphone), om Googles crawler na te bootsen:
Het tweede is verplicht en houdt in dat we Screaming Frog in lijstmodus zetten, zodat alleen de URL’s van de sitemap worden gecrawld en geen andere:
#3. De sitemap importeren
Nu klikken we op Importeren en daarna op ‘XML-sitemap downloaden’:
Plak de URL van de sitemap die we uit robots.txt hebben gekopieerd in het programma:
Na bevestiging begint het programma de URL’s van de sitemap te crawlen:
Nog iets: als de opgegeven URL een ‘sitemap van sitemaps’, oftewel een ‘index’-sitemap met andere sitemaps is (heel gebruikelijk als je de SEO-plugin van Yoast in WordPress gebruikt om hem te genereren), kan het programma vragen of we alle URL’s willen verwerken. Daarop antwoorden we bevestigend.
De voorbereidingen zijn klaar.
Wanneer Screaming Frog de hele sitemap heeft verwerkt, begint de echte analyse.
Inzichten en aandachtspunten
Zodra de tool de informatie heeft verzameld, kunnen we een aantal relevante SEO-vragen beantwoorden.
Hoeveel URL’s staan er in de sitemap?
Screaming Frog vertelt het je:
Het is interessant om dit aantal bijvoorbeeld te vergelijken met het aantal door Google geïndexeerde URL’s, dat we uit Google Search Console halen:
Als er verschillen zijn –en die zijn er meestal– moeten we de reden. En beoordelen of die verschillen terecht zijn.
Overigens is de aanbeveling dat elke sitemap maximaal 1.000 URL’s. bevat. Heeft je website er meer, dan kun je het beste meerdere sitemaps maken die vanuit de hoofdsitemap bereikbaar zijn.
Al doe ik dat eerlijk gezegd alleen als ik indexeringsproblemen in GSC zie.
Staan er niet-indexeerbare URL’s in de sitemap?
Alle URL’s in de sitemap moeten indexeerbaar zijn. In feite is URL’s laten indexeren het belangrijkste doel van sitemaps, dus zouden we geen enkele ‘niet-indexeerbare’ URL moeten opnemen.
Screaming Frog laat het weten als die er zijn:
Een andere manier om deze gegevens, en enkele gegevens die we nog bekijken, te zien is via het speciale sitemapmenu:
Bevat hij URL’s die in robots.txt zijn geblokkeerd of gecanonicaliseerd?
In deze kolom zien we of een van deze gevallen voorkomt, wat niet zou moeten.
Wanneer we het trouwens over ‘gecanonicaliseerde’ URL’s hebben, bedoelen we URL’s in de sitemap waarvan de meta-tag ‘canonical’ naar een andere URL verwijst. Alleen die laatste hoort in de sitemap te staan.
Als we zo’n URL zien, hoeven we er alleen op te klikken. De tool toont dan de canonieke URL (de URL die in de sitemap hoort te staan):
Zijn er gepagineerde pagina’s?
Met gepagineerde pagina’s bedoel ik pagina 2 en alle volgende pagina’s die voorkomen in productlijsten van een ecommercewebsite of in artikellijsten van een blog.
Geen daarvan hoort in de sitemap te staan.
Om dit te controleren, bekijken we deze kolom en controleren we visueel of ze niet bestaan:
Zijn er verweesde pagina’s?
Een verweesde pagina is een pagina waarnaar geen links verwijzen vanaf andere pagina’s van de website.
Je kunt er dus alleen komen als je de URL kent, waardoor zulke pagina’s niet relevant zijn voor je website.
Een pagina in de Sitemap hoort belangrijk te zijn, dus zouden we hier geen verweesde pagina’s aan moeten toevoegen.
Hier kunnen we controleren of die er niet zijn:
Zijn er 301- of 404-codes?
Dit zijn twee antwoordcodes die de server terugstuurt wanneer een bron, zoals een webpagina, wordt opgevraagd.
Hier zien we de codewaarden voor elke URL in de sitemap:
De codes 301 zijn omleidingen.
In de sitemap horen alleen de uiteindelijke URL’s te staan, want omleidingen verspillen kostbare tijd van de Googlebot.
De codes 404 zijn foutcodes die worden veroorzaakt door URL’s die niet bestaan. Uiteraard hoort onze sitemap er geen enkele te bevatten.
Relevantie van de pagina’s
Tot nu toe hebben we naar de fouten gekeken.
Wat we bij grote websites nog moeten analyseren, is of alle opgenomen pagina’s relevant zijn, of dat het de moeite waard is onze sitemap wat te ‘snoeien’, zodat Googles crawler niet ‘tussen de takken verdwaalt’ (de woordspeling lag voor het oprapen).
Hier is het aan jou (of je SEO-specialist) om te beslissen of je URL’s uitsluit.
Zoals je hierboven ziet, bevat de sitemap van Yo pongo el hielo 22k URL’s, terwijl Google er 30k heeft geïndexeerd en 230k heeft gecrawld zonder ze te indexeren, oftewel elf keer zoveel:
Al die URL’s zijn voor ons van secundair belang en we willen niet dat ze in de SERP’s van Google verschijnen als dat ten koste gaat van de ranking van andere URL’s die absoluut zichtbaar moeten zijn.
Daarom laten we ze onder meer buiten de sitemap.
Met dit voorbeeld hoop ik dat duidelijk is hoe je je sitemap verfijnt.
Daarmee zijn we klaar met de analysepunten die je in de sitemap van je website moet controleren om hem in vorm te houden.
Dat viel best mee, toch?
Conclusies
In dit artikel heb je gezien hoe je de sitemap van je website analyseert en welke aspecten je moet controleren.
Ik hoop dat je onthoudt dat het analyseren van een sitemap helemaal niet ingewikkeld is (hem corrigeren is natuurlijk een ander verhaal).
Het proces bestaat uit slechts drie stappen en de tool doet al het werk. Ook zijn er niet zo veel punten om te analyseren…
Was elk onderdeel van websitebeheer maar zo eenvoudig…
Hoe dan ook, elke week publiceer ik een artikel over digitale bedrijfsonderwerpen, sommige makkelijker en andere moeilijker, zoals je mag verwachten.
Je ontvangt elke donderdag een nieuw artikel per e-mail door je hier te abonneren.
Geef een reactie