Sitemap e robots.txt explicados de forma simples

O sitemap XML é uma lista das páginas de um site que se submete ao Google para facilitar a sua descoberta. O ficheiro robots.txt indica aos robôs dos motores de busca que partes do site podem explorar. Ambos são ficheiros técnicos simples, geralmente gerados automaticamente por um CMS moderno, mas uma configuração incorreta de um ou de outro pode impedir páginas inteiras de aparecerem no Google.

O problema: dois ficheiros invisíveis que podem bloquear todo um site

Sitemap e robots.txt nunca são mostrados a um visitante. Vivem em endereços técnicos (/sitemap.xml e /robots.txt) que ninguém consulta no dia a dia. É precisamente isso que os torna perigosos: um erro de configuração — um robots.txt que bloqueia todo o site por acidente após uma migração, um sitemap que aponta para URLs obsoletos — pode passar despercebido durante meses enquanto o tráfego orgânico cai, sem que qualquer mensagem de erro visível alerte o proprietário do site.

São dois ficheiros diferentes com funções distintas, frequentemente confundidos entre si. Perceber a diferença evita os erros de configuração mais comuns.

O sitemap XML: o mapa do site para os motores de busca

O sitemap é um ficheiro em formato XML que lista os URLs do site, por vezes com informações adicionais (data da última modificação, frequência de atualização). Não garante a indexação de uma página, mas facilita a sua descoberta, em particular para:

• sites com muitas páginas (e-commerce, blogs ativos);
• páginas profundas, pouco ligadas por links internos;
• sites recentes, cuja estrutura o Google ainda não mapeou por completo.

Um CMS moderno (WordPress com um plugin de SEO, Shopify, a maioria das soluções personalizadas) gera o sitemap automaticamente no endereço oseusite.com/sitemap.xml. Este atualiza-se sozinho a cada nova página publicada. O trabalho humano consiste sobretudo em verificar que existe, que está atualizado e que foi devidamente submetido no Google Search Console.

O ficheiro robots.txt: as regras de exploração

O robots.txt é um ficheiro de texto na raiz do site (oseusite.com/robots.txt) que dá instruções aos robôs dos motores de busca: que secções explorar, quais evitar. Serve sobretudo para:

• evitar que os robôs desperdicem tempo de crawl em páginas sem interesse SEO (carrinho, conta de utilizador, páginas de pesquisa interna);
• indicar a localização do sitemap (linha Sitemap: no final do ficheiro);
• em casos raros, bloquear por completo a exploração de um site ainda em desenvolvimento.

Um ponto frequentemente mal compreendido: o robots.txt bloqueia o crawl, não a indexação. Uma página proibida de exploração pode ainda assim aparecer nos resultados do Google, sem título nem descrição, se estiver referenciada a partir de outra página da web. Para retirar efetivamente uma página dos resultados de pesquisa, o método correto é a etiqueta <meta name="robots" content="noindex"> colocada diretamente no código da página, e não um bloqueio via robots.txt.

Os erros mais frequentes

Um robots.txt que bloqueia todo o site por acidente

É o erro mais dispendioso. Ocorre tipicamente após uma migração: o site de desenvolvimento continha a linha Disallow: / para impedir que o Google indexasse uma versão de teste, e essa linha não foi removida na passagem para produção. Resultado: o site inteiro desaparece progressivamente dos resultados de pesquisa, muitas vezes sem que ninguém repare de imediato na causa.

Um sitemap nunca submetido ao Google Search Console

O ficheiro existe e está correto, mas ninguém o assinalou ao Google. Sem uma submissão explícita, o Google acaba geralmente por descobri-lo sozinho, mas com um atraso adicional evitável em poucos cliques.

Um sitemap que contém URLs obsoletos ou com erro

Após uma reformulação ou a eliminação de páginas, o sitemap por vezes continua a listar URLs que devolvem um erro 404. Isto não prejudica diretamente o posicionamento das outras páginas, mas complica o trabalho do Google e pode atrasar a indexação das páginas novas.

Confundir noindex com disallow

Bloquear uma página através do robots.txt na expectativa de a retirar dos resultados de pesquisa não funciona de forma fiável, pela razão explicada acima. É uma confusão técnica clássica que deixa páginas indesejadas visíveis no Google.

Caso particular: sites multilingues e sites de e-commerce

Num site disponível em várias línguas, cada versão linguística deveria aparecer no sitemap com as respetivas etiquetas hreflang, para que o Google compreenda que versão apresentar consoante a língua e o país do visitante. Um sitemap que lista apenas uma língua, ou que omite estas etiquetas, pode levar o Google a mostrar a versão linguística errada nos resultados, ou a ignorar algumas páginas traduzidas por não as ter identificado claramente como distintas.

Num site de e-commerce, o volume de páginas (fichas de produto, variantes, categorias, páginas de filtro) coloca um desafio diferente: um sitemap único torna-se rapidamente demasiado extenso e difícil de manter atualizado manualmente. A prática comum consiste em gerar vários sitemaps segmentados (produtos, categorias, conteúdo editorial) ligados entre si por um ficheiro "índice de sitemaps", que a maioria das plataformas de e-commerce (Shopify, WooCommerce, soluções personalizadas) gera automaticamente.

Como corrigir um erro rapidamente depois de identificado

Depois de um problema de robots.txt ou de sitemap ser identificado no Search Console, a correção em si costuma ser rápida:

• para um robots.txt que bloqueia demasiado conteúdo, basta remover ou ajustar a linha Disallow em causa, e depois verificar através da ferramenta de teste de robots.txt integrada no Search Console;
• para um sitemap com URLs em erro, é preciso identificar a sua origem (páginas eliminadas, redirecionamentos mal configurados) e regenerar o ficheiro, o que acontece automaticamente na maioria dos CMS assim que o conteúdo de origem é corrigido;
• após qualquer correção, peça uma nova exploração no Search Console em vez de esperar pela passagem natural dos robôs, o que acelera o reconhecimento de vários dias para algumas horas na maioria dos casos.

Checklist de verificação rápida

O que é importante reter

• O sitemap facilita a descoberta das páginas pelo Google; o robots.txt regula a exploração do site.
• O robots.txt não retira uma página dos resultados de pesquisa: essa é a função da etiqueta noindex.
• O erro mais dispendioso é um robots.txt que bloqueia todo o site após uma migração mal concluída.
• Um CMS moderno gera ambos os ficheiros automaticamente; o trabalho consiste sobretudo em verificar o seu conteúdo, não em escrevê-los manualmente.
• O Google Search Console permite verificar em poucos minutos se estes ficheiros estão a ser corretamente considerados.

Perguntas frequentes

Um site sem sitemap pode ainda assim ser indexado pelo Google? Sim, o Google consegue descobrir páginas seguindo os links internos, sem sitemap. Mas num site com várias dezenas de páginas ou uma arquitetura pouco interligada, o sitemap acelera e torna mais fiável essa descoberta. Torna-se quase indispensável para o e-commerce ou sites com conteúdo frequente.

É preciso bloquear as páginas inúteis com robots.txt? O robots.txt impede o crawl, não a indexação: uma página bloqueada pode ainda assim aparecer no Google sem descrição se estiver referenciada noutro lugar. Para retirar uma página dos resultados, use antes a etiqueta meta noindex diretamente na página.

Como sei se o meu sitemap está a ser corretamente considerado pelo Google? No Google Search Console, na secção Sitemaps, adicione o URL do seu sitemap e consulte o estado. O Google indica o número de páginas descobertas e, separadamente, o número efetivamente indexadas: os dois valores nem sempre coincidem.

O sitemap deve conter obrigatoriamente todas as páginas do site? Não, apenas as páginas que quer ver indexadas: páginas de conteúdo, produtos, categorias. As páginas técnicas (login, carrinho, avisos legais genéricos) não têm lugar no sitemap.

Em resumo

Sitemap e robots.txt são ficheiros técnicos aparentemente menores, mas um erro de configuração pode bloquear a indexação de um site inteiro sem o mínimo sinal visível. Uma verificação rápida no Google Search Console basta para afastar o risco. Na VeryAppi, cada site entregue por subscrição inclui um sitemap gerado automaticamente e um robots.txt corretamente configurado desde o momento em que entra online.