Como analisar o Sitemap de um site

No trabalho de SEO de qualquer site, um passo indispensável é analisar o sitemap.

Ver se tem um, o que inclui, se pode ser melhorado…

Em sites pequenos é importante, mas nos grandes, como os ecommerce multimarca, é absolutamente crucial, porque nestes projetos otimizar o crawl budget –o tempo que o bot da Google tem atribuído para rastrear o nosso site– é obrigatório se quisermos posicionar-nos bem para termos competitivos.

E uma das formas de o fazer é gerir corretamente o sitemap.

Neste artigo quero explicar-lhe como analisá-lo. Mas antes, caso esteja a começar no SEO, vamos pelo básico…

O que é o Sitemap

O Sitemap, ou Sitemap.xml, nada mais é do que um arquivo ou conjunto de arquivos no formato .xml que indicam aos bots os URLs que compõem o nosso site.

Caso você não saiba, um arquivo .xml contém vários registros, cada um com valores diferentes para determinadas características:

Mesmo que você o veja assim, pense nele como um arquivo do Excel em que cada linha mostra um registro e cada coluna, o valor desse registro para uma determinada característica.

Aliás, pode abri-lo com o Excel:

Pois bem, como eu dizia, esse arquivo deveria conter todos os URLs do nosso site que queremos que a Google rastreie.

Essa nuance é importante, porque pode haver URLs que não nos interesse indexar por qualquer motivo (avisos legais, área do cliente) e que não deveriam aparecer no sitemap.

Esse arquivo precisa ser enviado ao nosso servidor. Quando estiver lá (todos os CMS têm formas de gerá-lo), enviaremos sua URL ao Google Search Console para que o crawler do Google comece a rastreá-lo.

Agora que já sabe o que é, vou explicar-lhe como analisá-lo.

Processo para analisar o Sitemap

Vou recorrer ao Screaming Frog, provavelmente a ferramenta mais potente que existe para trabalhar o SEO on page.

Por isso, antes de tudo, instale-o no seu computador.

Quando o tiver, explico-lhe como executar os três passos necessários.

#1. Descobrir o URL do Sitemap

Para analisar um sitemap, a primeira coisa é obtê-lo.

E se for o nosso site ou um projeto que gerimos, podemos sempre ir à GSC.

Mas se quisermos analisar o da concorrência (sim, também é possível), temos de o localizar.

Para isso, abrimos o arquivo robots.txt.

Esse arquivo fica na raiz do domínio. Exemplo:

https://www.yopongoelhielo.com/robots.txt

Ao acessar, veremos algo como isto:

É aí que estará o URL de que precisamos.

Nós o copiamos e abrimos o Screaming Frog.

#2. Configuração do Screaming Frog

Aqui vamos alterar duas coisas.

A primeira é opcional e, na verdade, nunca vi que alterasse os resultados, mas faço-o por hábito.

Refiro-me a abrir a configuração e, na secção “User-Agent”, selecionar Googlebot (Smartphone), para emular o crawler da Google:

A segunda é obrigatória e consiste em colocar o Screaming Frog em modo lista, para que rastreie apenas os URLs do sitemap e nenhum outro:

#3. Importar o Sitemap

Agora clicamos em Importar e em “baixar sitemap XML”:

Colamos no programa o URL do sitemap que copiámos do robots.txt:

Quando aceitarmos, o programa começará a rastrear os URLs do sitemap:

Uma coisa: se o URL que fornecemos for um “sitemap de sitemaps”, isto é, um sitemap “índice” que contém outros sitemaps (muito comum se usar o plugin de SEO da Yoast no WordPress para o gerar), o programa pode perguntar se queremos processar todos os URLs, ao que responderemos que sim.

Os preparativos estão concluídos.

Quando o Screaming Frog terminar de processar todo o sitemap, começa o verdadeiro momento da análise.

Insights e pontos a analisar

Quando a ferramenta tiver recolhido a informação, poderemos responder a certas perguntas relevantes para SEO.

Quantos URLs existem no sitemap?

O Screaming Frog mostra isso:

É interessante comparar este dado, por exemplo, com o número de URLs indexados na Google, que obtemos na Google Search Console:

Se houver diferenças –e costuma haver– teremos de encontrar o motivo. E ver se é correto que existam ou não.

A propósito, a recomendação é que cada sitemap contenha até 1.000 URLs. Se o seu site tiver mais, o ideal é criar vários sitemaps, acessíveis a partir do principal.

Embora eu, sinceramente, salvo se vir problemas de indexação na GSC, não o faça.

Há URLs não indexáveis no sitemap?

Todos os URLs do sitemap deveriam ser indexáveis. Na verdade, indexar os URLs é o objetivo básico dos sitemaps, por isso não deveríamos incluir nenhum “não indexável”.

O Screaming Frog avisa-nos se houver algum:

Outra forma alternativa de observar estes dados e alguns dos que veremos é o menu próprio do sitemap:

Contém URLs bloqueados no robots.txt ou canonicalizados?

Nesta coluna veremos se ocorre algum destes casos, o que não deveria acontecer.

A propósito, quando falamos de URLs “canonicalizados”, referimo-nos a URLs do sitemap cuja meta “canonical” aponta para um URL diferente. No sitemap só deveria aparecer este último.

Se virmos algum URL deste tipo, basta clicar nele para que a ferramenta nos mostre o URL canónico (o que deveria aparecer no sitemap):

Há paginações?

Com paginações refiro-me às páginas 2 e seguintes que aparecem nas listagens de produtos de um ecommerce ou nas listagens de artigos de qualquer blog.

Nenhuma delas deveria estar no sitemap.

Para verificar, observamos esta coluna e confirmamos visualmente que não existem:

Há páginas órfãs?

Uma página órfã é aquela que não tem links a apontar para ela a partir de outras páginas do site.

Ou seja, só é possível acessá-la se você souber a URL, por isso não são páginas relevantes para o seu site.

Uma página que aparece no Sitemap pressupõe-se importante, por isso não deveríamos adicionar aqui nenhuma página órfã.

Podemos confirmar aqui que não existem:

Há 301 ou 404?

Trata-se de dois códigos de resposta devolvidos pelo servidor quando lhe é solicitado um recurso, como uma página web.

Podemos ver aqui os valores dos códigos de cada URL do sitemap:

Os códigos 301 são redirecionamentos.

No sitemap só deveriam existir os URLs finais, porque os redirecionamentos fazem o bot da Google perder tempo extremamente valioso.

Os códigos 404 são códigos de erro provocados por URLs que não existem. Obviamente, não deveria haver nenhum no nosso sitemap.

Relevância das páginas

Até agora vimos os erros.

O que nos falta analisar em sites grandes é se todas as páginas incluídas são relevantes, ou se valeria a pena “podar” um pouco o nosso sitemap, para que o crawler da Google não se “perca nos ramos” (sem melhor trocadilho).

Aqui já cabe a você (ou ao seu especialista em SEO) decidir se exclui URLs ou não.

Se reparar acima, o sitemap do Yo pongo el hielo tem 22k URLs, enquanto a Google tem 30k indexados e 230k rastreados sem indexar, ou seja, 11 vezes mais:

Todos esses URLs são secundários para nós e não queremos que apareçam nas SERPs da Google à custa de piorar o posicionamento de outros que deveriam aparecer sem falta.

Por isso, entre outras coisas, deixamo-los fora do sitemap.

Com este exemplo, espero que tenha ficado claro como aperfeiçoar o seu sitemap.

E assim concluímos os pontos de análise que você deve verificar no sitemap do seu site para mantê-lo em forma.

Não era assim tão complicado, pois não?

Conclusões

Ao longo do artigo, você viu como analisar o sitemap do seu site e os aspectos que precisa revisar.

Espero que fique com a ideia de que analisar o sitemap de um site não é nada complexo (corrigi-lo já é outra história, claro).

O processo tem apenas três passos e a ferramenta trata de tudo. E os pontos a analisar também não são assim tantos…

Bem podiam todos os aspetos da gestão de um site ser igualmente simples…

Em todo o caso, todas as semanas publico um artigo sobre temas de negócios digitais, alguns mais fáceis e outros mais difíceis, como é normal.

Se lhe interessam, recebe um novo por email todas as quintas-feiras subscrevendo aqui.