In che modo Google scansiona, indicizza e posiziona i contenuti bloccati dal file robots.txt?

Il robots.txt, come ben noto, è un file di testo contenuto all’interno di un sito. Con il comando disallow si impedisce al robot di Google (che scansiona il sito) la lettura dei contenuti del sito.

Tuttavia, quando nella ricerca su Google viene digitata quella specifica pagina bloccata dal robots.txt, Google è capace di trovarla, anche se poi ammette che non ha altre informazioni da offrire poiché, per l’appunto, la pagina è stata bloccata dal file robots.txt, quindi il motore di ricerca non ha potuto leggerci dentro.

Questo avviene quando viene fatto un disallow su una pagina che è già stata indicizzata, o che riceve link interni, o che è presente nella sitemap XML.

Alla luce di tutto ciò, durante il Google Webmaster Central Hangout, è stato chiesto a Mueller in che modo possa Google indicizzare un sito web con pagine bloccate.

Ed ecco che la risposta del senior webmaster di Google è giunta tempestiva e puntuale come sempre.

Mueller ha confermato che Google continuerà ad indicizzare le pagine bloccate dal file robots.txt.

Ha inoltre spiegato in che modo Google determina la pertinenza delle pagine bloccate da robots.txt all’interno della query. In altre parole, come fa Google a sapere per quali tipi di query (cioè di keyword, di parole chiave) deve classificare queste pagine.

Di sicuro, se la pagina è bloccata, a Google non è permesso di guardarci dentro. Il contenuto è inaccessibile.

Tutto quel che il motore di ricerca può fare è trovare dei modi per confrontare la URL del sito in questione con altre URL. Non sarà un’operazione semplice, ma si fa quel che si può.

E’ normale che, nella maggior parte dei casi, Google assegnerà la priorità di indicizzazione ad altre pagine accessibili, che non hanno il blocco della scansione.

Però può succedere che alcune pagine bloccate dal robots.txt si posizionino all’interno dei risultati di ricerca. Questo accade quando Google ritiene queste pagine delle buone pagine, che potrebbero essere rilevanti e con un certo numero di link e backlink che le rendono autorevoli.

E sta proprio qui la risposta alla domanda di cui sopra, ovvero come riesce Google a capire quali pagine bloccate deve posizionare e quali no. La soluzione al quesito sta proprio nel ruolo dei link e degli utenti.

In sostanza, non sarebbe una gran trovata quella di bloccare i contenuti con il file robots.txt e allo stesso tempo sperare che Google sappia cosa farne del tuo contenuto bloccato.

Però, se ti dovesse capitare di avere un sito con i contenuti bloccati dal robots.txt, Google proverà comunque a posizionarlo. O per meglio dire, farà del suo meglio per capire come posizionarti la pagina bloccata.

Come ha ben detto John Mueller, è difficile, ma se Google trova dei siti con contenuti davvero buoni, di qualità, che ben si prestano a scansione ed indicizzazione, non esiterà a posizionarli.

Quando le persone si connettono a determinate pagine piuttosto che ad altre di sicuro Google le ritiene valide, degne di attenzione, utili.

E’ per questo che Mueller, sebbene Google si sforzi sempre di mostrare nella SERP le pagine bloccate, non consiglia a nessuno di utilizzare il file robots.txt per bloccare i contenuti del proprio sito, sperando l’operazione porti a un qualche vantaggio.

4 VIDEO+PDF: Scopri il Mio Metodo di Posizionamento SEO su Google Semplice, Passo Passo e Pratico, per TUTTI i Siti Web


CLICCA QUI E ACCEDI SUBITO AI VIDEO

Contattami ora!

Puoi contattarmi compilando il form qui sotto per avere informazioni sui miei servizi SEO, oppure manda un messaggio WhatsApp al n. 348 09 06 338

Acconsento al trattamento dei miei dati personali secondo l'Informativa Privacy

Filippo Jatta

About Filippo Jatta

Filippo Jatta è consulente SEO per liberi professionisti e imprenditori. Dottore magistrale in Organizzazione e Sistemi Informativi presso l'Università Luigi Bocconi di Milano, dal 2008 è SEO specialist. Aumenta traffico e visibilità online di blog, e-commerce e portali, posizionando siti web su Google. Offre servizi di posizionamento sui motori di ricerca e corsi SEO, sia base che avanzati.