Sitemap e robots.txt spiegati in modo semplice

La sitemap XML è un elenco delle pagine di un sito che si invia a Google per facilitarne la scoperta. Il file robots.txt indica ai robot dei motori di ricerca quali parti del sito possono esplorare. Entrambi sono file tecnici semplici, generalmente generati automaticamente da un CMS moderno, ma una configurazione errata dell'uno o dell'altro può impedire a intere pagine di comparire su Google.

Il problema: due file invisibili che possono bloccare un intero sito

Sitemap e robots.txt non vengono mai mostrati a un visitatore. Risiedono a indirizzi tecnici (/sitemap.xml e /robots.txt) che nessuno consulta quotidianamente. È proprio questo che li rende pericolosi: un errore di configurazione — un robots.txt che blocca per errore l'intero sito dopo una migrazione, una sitemap che punta a URL obsoleti — può passare inosservato per mesi mentre il traffico organico crolla, senza che alcun messaggio di errore visibile avverta il proprietario del sito.

Si tratta di due file diversi con ruoli distinti, spesso confusi tra loro. Comprendere la differenza consente di evitare gli errori di configurazione più frequenti.

La sitemap XML: la mappa del sito per i motori di ricerca

La sitemap è un file in formato XML che elenca gli URL del sito, talvolta con informazioni aggiuntive (data dell'ultima modifica, frequenza di aggiornamento). Non garantisce l'indicizzazione di una pagina, ma ne facilita la scoperta, in particolare per:

• i siti con molte pagine (e-commerce, blog attivi);
• le pagine profonde, poco collegate da link interni;
• i siti recenti, la cui struttura Google non ha ancora mappato completamente.

Un CMS moderno (WordPress con un plugin SEO, Shopify, la maggior parte delle soluzioni su misura) genera la sitemap automaticamente all'indirizzo suosito.it/sitemap.xml. Si aggiorna da sola a ogni nuova pagina pubblicata. Il lavoro umano consiste soprattutto nel verificare che esista, che sia aggiornata e che sia stata effettivamente inviata a Google Search Console.

Il file robots.txt: le regole di esplorazione

Robots.txt è un file di testo alla radice del sito (suosito.it/robots.txt) che fornisce istruzioni ai robot dei motori di ricerca: quali sezioni esplorare, quali evitare. Serve principalmente a:

• evitare che i robot sprechino tempo di scansione su pagine senza interesse SEO (carrello, account utente, pagine di ricerca interna);
• segnalare la posizione della sitemap (riga Sitemap: alla fine del file);
• in rari casi, bloccare completamente l'esplorazione di un sito ancora in sviluppo.

Un punto spesso frainteso: robots.txt blocca la scansione, non l'indicizzazione. Una pagina esclusa dall'esplorazione può comunque comparire nei risultati di Google, senza titolo né descrizione, se è collegata da un'altra pagina del web. Per rimuovere realmente una pagina dai risultati di ricerca, il metodo corretto è il tag <meta name="robots" content="noindex"> inserito direttamente nel codice della pagina, non un blocco tramite robots.txt.

Gli errori più frequenti

Un robots.txt che blocca per errore l'intero sito

È l'errore più costoso. Si verifica tipicamente dopo una migrazione: il sito di sviluppo conteneva la riga Disallow: / per impedire a Google di indicizzare una versione di prova, e questa riga non è stata rimossa al passaggio in produzione. Risultato: l'intero sito scompare progressivamente dai risultati di ricerca, spesso senza che nessuno se ne accorga subito.

Una sitemap mai inviata a Google Search Console

Il file esiste ed è corretto, ma nessuno lo ha segnalato a Google. Senza un invio esplicito, Google finisce generalmente per scoprirlo da solo, ma con un ritardo aggiuntivo evitabile con pochi clic.

Una sitemap che contiene URL obsoleti o in errore

Dopo un restyling o l'eliminazione di pagine, la sitemap continua talvolta a elencare URL che restituiscono un errore 404. Questo non danneggia direttamente il posizionamento delle altre pagine, ma complica il lavoro di Google e può ritardare l'indicizzazione delle nuove pagine.

Confondere noindex e disallow

Bloccare una pagina tramite robots.txt pensando di rimuoverla dai risultati di ricerca non funziona in modo affidabile, per il motivo spiegato sopra. È una confusione tecnica classica che lascia pagine indesiderate visibili su Google.

Caso particolare: siti multilingue e siti e-commerce

Su un sito disponibile in più lingue, ogni versione linguistica dovrebbe comparire nella sitemap con i relativi tag hreflang, affinché Google comprenda quale versione proporre in base alla lingua e al paese del visitatore. Una sitemap che elenca una sola lingua, o che omette questi tag, può indurre Google a mostrare la versione linguistica sbagliata nei risultati, oppure a ignorare alcune pagine tradotte per non averle chiaramente identificate come distinte.

Su un sito e-commerce, il volume di pagine (schede prodotto, varianti, categorie, pagine di filtro) pone una sfida diversa: una sitemap unica diventa rapidamente troppo voluminosa e difficile da mantenere aggiornata manualmente. La prassi comune consiste nel generare più sitemap segmentate (prodotti, categorie, contenuti editoriali) collegate tra loro da un file "indice delle sitemap", che la maggior parte delle piattaforme e-commerce (Shopify, WooCommerce, soluzioni su misura) genera automaticamente.

Come correggere rapidamente un errore una volta individuato

Una volta identificato un problema di robots.txt o di sitemap in Search Console, la correzione vera e propria è generalmente rapida:

• per un robots.txt che blocca troppi contenuti, è sufficiente rimuovere o correggere la riga Disallow interessata, quindi verificare tramite lo strumento di test robots.txt integrato in Search Console;
• per una sitemap con URL in errore, occorre individuarne l'origine (pagine eliminate, redirect mal configurati) e rigenerare il file, operazione che avviene automaticamente sulla maggior parte dei CMS non appena il contenuto di origine viene corretto;
• dopo ogni correzione, richieda una nuova scansione in Search Console anziché attendere il passaggio naturale dei robot: questo accelera la presa in carico, riducendola nella maggior parte dei casi da alcuni giorni a poche ore.

Checklist di verifica rapida

Cosa bisogna ricordare

• La sitemap facilita la scoperta delle pagine da parte di Google; il robots.txt disciplina l'esplorazione del sito.
• Robots.txt non rimuove una pagina dai risultati di ricerca: questo è il compito del tag noindex.
• L'errore più costoso è un robots.txt che blocca l'intero sito dopo una migrazione non conclusa correttamente.
• Un CMS moderno genera automaticamente entrambi i file; il lavoro consiste soprattutto nel verificarne il contenuto, non nello scriverli a mano.
• Google Search Console consente di verificare in pochi minuti se questi file vengono presi correttamente in considerazione.

Domande frequenti

Un sito senza sitemap può comunque essere indicizzato da Google? Sì, Google può scoprire le pagine seguendo i link interni, senza sitemap. Ma su un sito con svariate decine di pagine o con un'architettura poco collegata, la sitemap accelera e rende più affidabile questa scoperta. Diventa quasi indispensabile per l'e-commerce o per i siti con contenuti frequenti.

Bisogna bloccare le pagine inutili con robots.txt? Robots.txt impedisce la scansione, non l'indicizzazione: una pagina bloccata può comunque comparire su Google senza descrizione se è collegata altrove. Per rimuovere davvero una pagina dai risultati, è preferibile usare il tag meta noindex direttamente sulla pagina.

Come posso sapere se la mia sitemap viene presa correttamente in considerazione da Google? In Google Search Console, nella sezione Sitemap, aggiunga l'URL della sua sitemap e consulti lo stato. Google indica il numero di pagine rilevate e, separatamente, il numero di quelle effettivamente indicizzate: i due valori non sempre coincidono.

La sitemap deve contenere obbligatoriamente tutte le pagine del sito? No, solo le pagine che desidera vedere indicizzate: pagine di contenuto, prodotti, categorie. Le pagine tecniche (accesso, carrello, note legali generiche) non hanno posto nella sitemap.

In sintesi

Sitemap e robots.txt sono file tecnici apparentemente minori, ma un errore di configurazione può bloccare l'indicizzazione di un intero sito senza il minimo segnale visibile. Una verifica rapida in Google Search Console è sufficiente per escludere il rischio. Presso VeryAppi, ogni sito web fornito in abbonamento include una sitemap generata automaticamente e un robots.txt correttamente configurato fin dalla messa online.