Google ha aggiornato l'elenco dei propri crawler ufficiali aggiungendo il nome e le informazioni di un crawler relativamente sconosciuto che gli editori vedevano di tanto in tanto, ma in precedenza non esisteva alcuna documentazione al riguardo.
Sebbene Google abbia aggiunto la documentazione ufficiale per questo crawler, le informazioni fornite sembrano incoraggiare ulteriori chiarimenti.
Crawler per casi speciali
Google dispone di diversi tipi di crawler (noti anche come bot e spider).
Le diverse forme di crawler sono:
- Crawler comuni
Questi bot vengono utilizzati principalmente per indicizzare diversi tipi di contenuti. Ma alcuni crawler comuni servono anche per strumenti di test di ricerca, utilizzo interno del team di prodotto Google e scansione correlata all'intelligenza artificiale. - Fetcher attivati dall'utente
Questi sono bot attivati dagli utenti. Ciò include usi come il recupero di feed o la verifica del sito. - Crawler per casi speciali
Questi sono per casi speciali come i controlli di qualità delle pagine Web degli annunci mobili o i messaggi di notifica push tramite le API di Google. Questi bot non obbediscono alle direttive dello user agent globale nel file robots.txt che sono segnalate con l'asterisco
.
La nuova documentazione del crawler riguarda lo user agent di Google-Safety. Il crawler non è nuovo ma la documentazione è nuova.
Crawler di sicurezza di Google
La documentazione nel crawler Google-Safety Special-case Crawler è quella utilizzata dai processi di Google per trovare malware.
Unico tra i crawler per casi speciali, il crawler di sicurezza di Google ignora completamente tutte le direttive robots.txt.
La nuova documentazione per Google-Safety Crawler:
“Lo user agent di Google-Safety gestisce la scansione specifica degli abusi, come il rilevamento di malware per collegamenti pubblicati pubblicamente sulle proprietà di Google.
Questo agente utente ignora le regole del file robots.txt."
La stringa completa dell'agente per il crawler:
"Sicurezza Google"
Leggi la nuova documentazione per lo user agent Google-Safety nella pagina di Google Search Central per i crawler nella sezione dedicata ai crawler con casi speciali.
Panoramica dei crawler e dei fetcher di Google (user agent): crawler per casi speciali
