Google Indicizza Pagine Bloccate dal Robots.txt: Usa il Noindex

Google Indicizza Pagine Bloccate dal Robots.txt: Usa il Noindex

John Mueller ha commentato un tweet di Barry Adams, che riguardava il comando disallow del file Robots.txt.

Oggi infatti parlo di un problema che affligge molti siti web. Penso che questa dritta sia utile, quindi continua la lettura ūüôā

Google Indicizza le Pagine in Disallow

In pratica spesso i webmaster usano il comando disallow nel file Robots.txt, pensando che questo blocchi l’indicizzazione su Google.

In realtà, tale comando blocca solo lo spider, cioè impedisce a Google la lettura del contenuto della pagina, ma Google sa comunque che la pagina esiste, e può quindi decidere di indicizzarla.

Il Disallow Serve per la Scansione, Non per l’Indicizzazione

Con il disallow tu dici a Google di non leggere i contenuti di una determinata pagina, ma non gli dici di non indicizzarla su Google.

Google pu√≤ venire a sapere dell’esistenza della pagina tramite link interni del sito, tramite la Sitemap XML, o tramite link di altri siti web.

Un volta che Google viene a conoscenza della pagina, scopre che questa è bloccata da file Robots.txt, e non la può quindi scansionare, non può leggerne il contenuto.

Può però comunque decidere di indicizzarla, anche se in SERP scriverà che non ha informazioni sulla pagina in questione.

Usa il Noindex, Non il Disallow

Il meta tag noindex, invece, serve a dire a Google di non indicizzare una determinata risorsa.

Dovresti usare quindi questo comando per non far indicizzare le tue pagine su Google, e non il disallow.

Aggiungo un altro consiglio: se a una pagina già indicizzata e bloccata con disallow aggiungi il noindex, non otterrai effetti: Google, per leggere il noindex e quindi non indicizzare una pagina, deve leggerla.

Per tal motivo, se una pagina in disallow è indicizzata, togli il disallow e inserisci il noindex.

Solo così risolverai la situazione.

4 VIDEO+PDF: Scopri il Mio Metodo di Posizionamento SEO Semplice, Passo Passo e Pratico, per TUTTI i Siti Web

CLICCA QUI E ACCEDI SUBITO AI VIDEO

simona.mastromarino@gmail.com

<p>Sono una webwriter freelance laureata in comunicazione e specializzata in Luxury Hotel Management. Dall’animo un pizzico wild, ho da sempre una passione non troppo segreta per la scrittura artistica e per la cultura giapponese.</p>