Di recente, è stato possibile leggere una serie di tweet da parte di Gary Illyes e successivamente seguiti da John Mueller (entrambi fanno parte del team di Google) in merito al posizionamento dei file robots.txt e XML sitemap in Google.

In breve, se si posizionano per le query normali, John Mueller ha affermato nello specifico che ciò non è un buon segno, anzi: è un segno negativo e probabilmente c’è qualcosa del sito che va assolutamente migliorato.

Il primo a parlarne è stato appunto proprio Gary in un recente tweet: tutto è partito in seguito ad una questione interna, secondo cui robots.txt dal punto di vista dell’indicizzazione è solo un URL il cui contenuto può essere indicizzato.

Può diventare canonico o può essere deduplicato, proprio come qualsiasi altro URL: ha solo un significato speciale per la scansione, ma per il resto non ha una particolare importanza.

Un file robots.txt può essere indicizzato e posizionato in Google, in sostanza.

A queste dichiarazioni si sono poi aggiunte quelle di John Mueller, secondo cui è anche del tutto possibile impedire l’indicizzazione utilizzando l’intestazione HTTP x-robots-tag.

Inoltre, se il file robots.txt o la sitemap XML sono posizionati per le query normali (non per il sito), questo di solito è un segno che il sito è davvero ottimizzato male e va migliorato.

Sempre stando alle dichiarazioni fatte da Mueller, è anche possibile utilizzare lo strumento “disallow”.

Tuttavia, questa affermazione sembra andare in contraddizione con quanto era emerso in un ulteriore tweet, secondo cui invece lo strumento non sembra funzionare in questo tipo di situazioni.

Pertanto, cosa fare, e qual è la verità?

Probabilmente, la verità sta nel fatto che utilizzare questo strumento nel file robots.txt sarebbe comunque troppo tardi e non sarebbe sufficiente a risolvere la questione.

Inoltre, Google ha precisato che non c’è davvero alcun motivo per tentare di indicizzare il file sitemap XML, in quanto esso viene elaborato in maniera differente.

Ma perché si dovrebbe quindi bloccare le sitemap dall’indicizzazione? Google non smetterebbe di eseguire la scansione se inseriamo un noindex nell’intestazione http?

Questa è stata un’ulteriore domanda posta a Mueller, il quale ha risposto in maniera negativa, spiegando che un file sitemap XML di solito è pensato solo per l’uso diretto da parte di programmi, e quindi non ha bisogno di essere indicizzato.

4 VIDEO+PDF: Scopri il Mio Metodo di Posizionamento SEO su Google Semplice, Passo Passo e Pratico, per TUTTI i Siti Web


CLICCA QUI E ACCEDI SUBITO AI VIDEO

Contattami ora!

Puoi contattarmi compilando il form qui sotto per avere informazioni sui miei servizi SEO, oppure manda un messaggio WhatsApp al n. 348 09 06 338

Acconsento al trattamento dei miei dati personali secondo l'Informativa Privacy

Rosilda Sergi

About Rosilda Sergi

Mi chiamo Rosilda Sergi. Dal 2009 è iniziata la mia scalata verso la conoscenza della scrittura digitale e di tutte le sue sfumature. Nel corso degli anni, ho avuto modo di trasformare la mia passione per la scrittura e la comunicazione in qualcosa di più concreto, orientandomi verso l'espansione delle mie skills e focalizzando la mia attenzione su aspetti come l'ottimizzazione SEO e la comunicazione persuasiva.