Google ha aggiornato la documentazione di Search Central sulla verifica di Googlebot, aggiungendo la documentazione sulle visite ai bot attivate dagli utenti, informazioni che mancavano dalla precedente documentazione di Googlebot, che ha creato confusione per molti anni, con alcuni editori che hanno bloccato gli intervalli IP delle visite legittime.
Documentazione del bot appena aggiornata
Google ha aggiunto una nuova documentazione che classifica i tre diversi tipi di bot che gli editori dovrebbero aspettarsi.
Queste sono le tre categorie di Google Bot:
- Googlebot: crawler di ricerca
- Crawler speciali
- Fetcher attivati dall'utente (GoogleUserContent)
L'ultimo, GoogleUserContent, ha confuso gli editori per molto tempo perché Google non disponeva di alcuna documentazione al riguardo.
Questo è ciò che Google dice su GoogleUserContent:
“Fetcher attivati dall'utente
Strumenti e funzioni del prodotto in cui l'utente finale attiva un recupero.
Ad esempio, Google Site Verifier agisce su richiesta di un utente.
Poiché il recupero è stato richiesto da un utente, questi fetcher ignorano le regole di robots.txt."
La documentazione afferma che la maschera DNS inversa mostrerà il seguente dominio:
"***-***-***-***.gae.googleusercontent.com"
In passato, quello che mi è stato detto da alcuni nella comunità SEO, è che l'attività del bot dagli indirizzi IP associati a GoogleUserContent.com veniva attivata quando un utente visualizzava un sito Web tramite una funzione di traduzione che si trovava nei risultati di ricerca, una funzionalità che non esiste più nelle SERP di Google.
Non so se sia vero o no. Bastava sapere che si trattava di una visita di Google, innescata dagli utenti.
La nuova documentazione di Google spiega che l'attività dei bot dagli indirizzi IP associati a GoogleUserContent.com può essere attivata dallo strumento Google Site Verifier.
Ma Google non dice cos'altro potrebbe attivare un bot dagli indirizzi IP di GoogleUserContent.com.
L'altra modifica nella documentazione è un riferimento a googleusercontent.com nel contesto degli indirizzi IP assegnati al nome di dominio GoogleUserContent.com.
Questo il nuovo testo:
"Verifica che il nome di dominio sia googlebot.com, google.com o googleusercontent.com."
Un'altra nuova aggiunta è il seguente testo che è stato ampliato dalla vecchia pagina:
"In alternativa, puoi identificare Googlebot in base all'indirizzo IP abbinando l'indirizzo IP del crawler agli elenchi degli intervalli IP dei crawler e dei fetcher di Google:
GoogleBot
Crawler speciali come AdsBot
Recuperi attivati dall'utente"
Documentazione di identificazione del bot di Google
La nuova documentazione ha finalmente qualcosa sui bot che utilizzano indirizzi IP associati a GoogleUserContent.
Gli esperti di marketing della ricerca erano confusi da quegli indirizzi IP e presumevano che quei bot fossero spam.
Una discussione della Guida di Google Search Console del 2020 mostra quanto le persone fossero confuse riguardo alle attività associate a GoogleUserContent.
Molti in quella discussione hanno giustamente concluso che non si trattava di Googlebot, ma poi hanno concluso erroneamente che si trattava di un falso bot che fingeva di essere Google.
Un utente ha pubblicato:
“Il comportamento che vedo provenire da questi indirizzi è molto vicino (se non identico) al comportamento legittimo di Googlebot e colpisce diversi nostri siti.
…Se non lo è, allora questo sembra indicare che c'è un'attività diffusa di bot dannosi da parte di qualcuno che cerca di assomigliare a Google sui nostri siti, il che è preoccupante.”
Dopo diverse risposte, la persona che ha avviato la discussione conclude che l'attività GoogleUserContent era spam.
Scrissero:
“…I Googlebot in questione imitano gli User-Agent ufficiali, ma allo stato attuale le prove sembrano indicare che sono falsi.
Li bloccherò per ora.
Ora sappiamo che l'attività dei bot dagli IP associati a GoogleUserContent non è spam o bot di hacker.
Sono davvero di Google. Gli editori che stanno attualmente bloccando gli indirizzi IP associati a GoogleUserContent dovrebbero probabilmente sbloccarli.
L'elenco aggiornato degli indirizzi IP Fetcher attivati dall'utente è disponibile qui.
Leggi la documentazione aggiornata di Google:
Verifica di Googlebot e altri crawler di Google
Immagine in primo piano di Shutterstock/Asier Romero
