Google ha recentemente introdotto un nuovo web crawler chiamato "GoogleOther", progettato per alleviare la pressione su Googlebot, il suo principale crawler dell'indice di ricerca.
L'aggiunta di questo nuovo crawler aiuterà Google a ottimizzare e semplificare le sue operazioni di scansione.
I web crawler, noti anche come robot o spider, scoprono e scansionano automaticamente i siti web.
Googlebot è responsabile della creazione dell'indice per Ricerca Google.
GoogleOther è un web crawler generico che verrà utilizzato da vari team di prodotto all'interno di Google per recuperare contenuti accessibili pubblicamente dai siti web.
In un post di LinkedIn, l'analista di ricerca di Google Gary Illyes condivide ulteriori dettagli.
Divisione delle responsabilità tra Googlebot e GoogleOther
Lo scopo principale del nuovo crawler GoogleOther è assumere le attività non essenziali attualmente eseguite da Googlebot.
In questo modo, Googlebot può ora concentrarsi esclusivamente sulla creazione dell'indice di ricerca utilizzato da Ricerca Google.
Nel frattempo, GoogleOther gestirà altri lavori, come le scansioni di ricerca e sviluppo (R&S), che non sono direttamente correlate all'indicizzazione della ricerca.
Illyes afferma su LinkedIn:
"Abbiamo aggiunto un nuovo crawler, GoogleOther al nostro elenco di crawler che alla fine alleggerirà Googlebot. Questo è un cambiamento non operativo per te, ma è comunque interessante, credo.
Mentre ottimizziamo come e cosa esegue la scansione di Googlebot, una cosa che volevamo garantire è che i processi di scansione di Googlebot vengano utilizzati solo internamente per creare l'indice utilizzato dalla Ricerca. Per questo abbiamo aggiunto un nuovo crawler, GoogleOther, che sostituirà alcuni degli altri lavori di Googlebot come le scansioni di ricerca e sviluppo per liberare parte della capacità di scansione per Googlebot".
GoogleOther eredita l'infrastruttura di Googlebot
GoogleOther condivide la stessa infrastruttura di Googlebot, il che significa che possiede le stesse limitazioni e funzionalità, inclusi limiti di carico dell'host, robots.txt (sebbene con un token user-agent diverso), versione del protocollo HTTP e dimensioni di recupero.
In sostanza, GoogleOther è Googlebot che opera con un nome diverso.
Implicazioni per SEO e proprietari di siti
L'introduzione di GoogleOther non dovrebbe avere un impatto significativo sui siti Web, poiché funziona utilizzando la stessa infrastruttura e le stesse limitazioni di Googlebot.
Tuttavia, è uno sviluppo degno di nota negli sforzi in corso di Google per ottimizzare e semplificare i suoi processi di scansione web.
Se sei preoccupato per Google Other, puoi monitorarlo nei seguenti modi:
- Analizza i log del server: esamina regolarmente i log del server per identificare le richieste effettuate da GoogleOther. Questo ti aiuterà a capire quanto spesso scansiona il tuo sito web e quali pagine visita.
- Aggiorna robots.txt: assicurati che il tuo file robots.txt sia aggiornato per includere regole specifiche per GoogleOther, se necessario. Questo ti aiuterà a controllarne l'accesso e il comportamento di scansione sul tuo sito web.
- Monitora le statistiche di scansione in Google Search Console: tieni d'occhio le statistiche di scansione all'interno di Google Search Console per osservare eventuali modifiche nella frequenza di scansione, nel budget di scansione o nel numero di pagine indicizzate dall'introduzione di GoogleOther.
- Tieni traccia delle prestazioni del sito web: monitora regolarmente le metriche sulle prestazioni del tuo sito web, come i tempi di caricamento, le frequenze di rimbalzo e il coinvolgimento degli utenti, per identificare eventuali correlazioni potenziali con le attività di scansione di GoogleOther. Questo ti aiuterà a rilevare se il nuovo crawler sta causando problemi imprevisti sul tuo sito web.
Fonte: Google
Immagine di presentazione: BestForBest/Shutterstock
