John Mueller ha commentato un tweet di Barry Adams, che riguardava il comando disallow del file Robots.txt.

Oggi infatti parlo di un problema che affligge molti siti web. Penso che questa dritta sia utile, quindi continua la lettura 🙂

Google Indicizza le Pagine in Disallow

In pratica spesso i webmaster usano il comando disallow nel file Robots.txt, pensando che questo blocchi l’indicizzazione su Google.

In realtà, tale comando blocca solo lo spider, cioè impedisce a Google la lettura del contenuto della pagina, ma Google sa comunque che la pagina esiste, e può quindi decidere di indicizzarla.

Il Disallow Serve per la Scansione, Non per l’Indicizzazione

Con il disallow tu dici a Google di non leggere i contenuti di una determinata pagina, ma non gli dici di non indicizzarla su Google.

Google può venire a sapere dell’esistenza della pagina tramite link interni del sito, tramite la Sitemap XML, o tramite link di altri siti web.

Un volta che Google viene a conoscenza della pagina, scopre che questa è bloccata da file Robots.txt, e non la può quindi scansionare, non può leggerne il contenuto.

Può però comunque decidere di indicizzarla, anche se in SERP scriverà che non ha informazioni sulla pagina in questione.

Usa il Noindex, Non il Disallow

Il meta tag noindex, invece, serve a dire a Google di non indicizzare una determinata risorsa.

Dovresti usare quindi questo comando per non far indicizzare le tue pagine su Google, e non il disallow.

Aggiungo un altro consiglio: se a una pagina giĂ  indicizzata e bloccata con disallow aggiungi il noindex, non otterrai effetti: Google, per leggere il noindex e quindi non indicizzare una pagina, deve leggerla.

Per tal motivo, se una pagina in disallow è indicizzata, togli il disallow e inserisci il noindex.

Solo così risolverai la situazione.

4 VIDEO+PDF: Scopri il Mio Metodo di Posizionamento SEO Semplice, Passo Passo e Pratico, per TUTTI i Siti Web

CLICCA QUI E ACCEDI SUBITO AI VIDEO
Maria Pia Fracchiolla

About Maria Pia Fracchiolla

Maria Pia Fracchiolla è una web writer. Scrive e parla troppo (in quattro lingue diverse, tra queste il giapponese). Custodisce e sostiene una cura maniacale per le fonti, le migliori possibilmente. Prima di iniziare l’attività professionale di scrittura ha conseguito la maturità classica e studiato inglese, tedesco e spagnolo presso la Facoltà di Lingue e Letterature Straniere dell’Università Aldo Moro di Bari, dove si è laureata. Maria Pia scrive per blog, siti e social. Ama la cultura in genere, soprattutto nelle sue declinazioni artistiche, musicali, letterarie e antropologiche, senza disdegnare il piglio “cool&smart” delle tendenze attuali.

Leave a Reply