Le relazioni di ricerca di Google hanno risposto a diverse domande sull'indicizzazione delle pagine web nell'ultimo episodio del podcast "Search Off The Record".
Gli argomenti discussi sono stati come impedire a Googlebot di eseguire la scansione di sezioni specifiche di una pagina e come impedire del tutto a Googlebot di accedere a un sito.
John Mueller e Gary Illyes di Google hanno risposto alle domande esaminate in questo articolo.
Blocco di Googlebot da sezioni di pagine Web specifiche
Mueller dice che lo è impossibile quando gli è stato chiesto come impedire a Googlebot di eseguire la scansione di sezioni specifiche della pagina Web, come le aree "anche acquistate" nelle pagine dei prodotti.
"La versione breve è che non puoi bloccare la scansione di una sezione specifica su una pagina HTML", ha detto Mueller.
Ha continuato offrendo due potenziali strategie per affrontare il problema, nessuna delle quali, ha sottolineato, è una soluzione ideale.
Mueller ha suggerito di utilizzare l'attributo HTML data-nosnippet per impedire la visualizzazione del testo in uno snippet di ricerca.
In alternativa, puoi utilizzare un iframe o JavaScript con la fonte bloccata da robots.txt, anche se ha avvertito che non è una buona idea.
"L'utilizzo di un iframe robotizzato o di un file JavaScript può causare problemi di scansione e indicizzazione difficili da diagnosticare e risolvere", ha dichiarato Mueller.
Ha rassicurato tutti gli ascoltatori che se il contenuto in questione viene riutilizzato su più pagine, non è un problema che deve essere risolto.
"Non è necessario impedire a Googlebot di vedere quel tipo di duplicazione", ha aggiunto.
Impedire a Googlebot di accedere a un sito web
In risposta a una domanda sull'impedire l'accesso a Googlebot Qualunque parte di un sito, Illyes ha fornito una soluzione facile da seguire.
"Il modo più semplice è robots.txt: se aggiungi un disallow: / per l'agente utente di Googlebot, Googlebot lascerà in pace il tuo sito per tutto il tempo in cui mantieni quella regola lì", ha spiegato Illyes.
Per chi cerca una soluzione più robusta, Illyes offre un altro metodo:
"Se si desidera bloccare anche l'accesso alla rete, è necessario creare regole firewall che caricano i nostri intervalli IP in una regola di negazione", ha affermato.
Consulta la documentazione ufficiale di Google per un elenco degli indirizzi IP di Googlebot.
In sintesi
Sebbene sia impossibile impedire a Googlebot di accedere a sezioni specifiche di una pagina HTML, metodi come l'utilizzo dell'attributo data-nosnippet possono offrire il controllo.
Quando consideri di bloccare completamente Googlebot dal tuo sito, una semplice regola di non autorizzazione nel tuo file robots.txt farà il trucco. Tuttavia, sono disponibili anche misure più estreme come la creazione di regole firewall specifiche.
Immagine in primo piano generata dall'autore utilizzando Midjourney.
Fonte: Ricerca Google Off The Record
