Jak pracuje Googlebot
Robot znajduje adresy z linków, map witryny i wcześniejszych wizyt, pobiera kod HTML, a następnie w osobnym etapie renderuje stronę, wykonując JavaScript w aktualnej wersji przeglądarki opartej na Chromium. Dopiero wyrenderowana treść jest analizowana i może trafić do indeksu. Częstotliwość odwiedzin zależy między innymi od tego, jak często strona się zmienia, jak szybko odpowiada serwer i jak ważna wydaje się dla wyszukiwarki.
Po co Ci ta wiedza
- Rozumiesz, dlaczego nowa podstrona nie pojawia się w Google od razu.
- Wiesz, że treść wczytywana dopiero po kliknięciu lub przewinięciu może zostać pominięta.
- Potrafisz odróżnić prawdziwego Googlebota od botów podszywających się pod niego.
- Możesz świadomie sterować dostępem przez robots.txt i meta robots.
Jak zweryfikować, że to naprawdę Googlebot
W logach serwera wiele botów przedstawia się jako Googlebot, choć nim nie są. Google zaleca weryfikację przez odwrotne zapytanie DNS: adres IP powinien wskazywać na domenę googlebot.com lub google.com, a ta domena z powrotem na ten sam adres IP. Google publikuje też listy zakresów adresów swoich robotów. Szczegóły procedury sprawdź w aktualnej dokumentacji Google Search Central.
Typowe błędy
- Blokowanie w robots.txt plików CSS i JS potrzebnych do wyrenderowania strony.
- Zapory i ochrona przed botami, które przypadkiem blokują Googlebota.
- Treść dostępna tylko po zalogowaniu lub zaakceptowaniu okienka, bez wersji dla robota.
- Wolny serwer i błędy 5xx, przez które robot ogranicza liczbę odwiedzin.
Jak sprawdzić, co widzi Googlebot
Użyj narzędzia sprawdzania adresu URL w Search Console i opcji testu wersji opublikowanej: zobaczysz wyrenderowany HTML i zrzut ekranu. Raport statystyk indeksowania pokaże liczbę żądań, czas odpowiedzi i kody błędów. Przy większych serwisach warto analizować logi serwera, by zobaczyć, które sekcje robot odwiedza najczęściej, a które pomija.
Najczęstsze pytania
Jak często Googlebot odwiedza stronę?
Nie ma stałego harmonogramu. Częstotliwość zależy od tego, jak często strona się zmienia, jak szybko odpowiada serwer i jak ważna jest dla wyszukiwarki.
Czy Googlebot wykonuje JavaScript?
Tak, renderuje strony z JavaScriptem, ale robi to w osobnym etapie i z pewnymi ograniczeniami. Kluczowe treści i linki najbezpieczniej mieć w HTML zwracanym przez serwer.
Czy mogę przyspieszyć wizytę Googlebota?
Możesz poprosić o indeksację przez Search Console i zadbać o aktualną mapę witryny oraz linki wewnętrzne. Nie gwarantuje to natychmiastowej wizyty ani indeksacji.
