Co zawiera pojedynczy wpis
| Pole | Co mówi |
|---|---|
| Adres IP | Skąd przyszło żądanie, pozwala zweryfikować robota |
| Data i godzina | Kiedy nastąpiła wizyta |
| Żądany adres | Którą stronę lub plik pobrano |
| Kod odpowiedzi | Np. 200, 301, 404, 500 |
| User-agent | Jak przedstawił się klient, np. Googlebot |
| Rozmiar odpowiedzi | Ile danych przesłano |
Pytania, na które odpowiadają logi
- Czy Googlebot odwiedza nowe produkty i artykuły, czy krąży wokół starych adresów.
- Ile wizyt pochłaniają filtry, parametry, wyniki wyszukiwania i inne zbędne adresy.
- Czy robot trafia na przekierowania łańcuchowe i błędy 404 lub 5xx.
- Jak często skanowane są kluczowe podstrony w porównaniu z resztą serwisu.
- Czy po migracji robot pobiera nowe adresy i jak szybko przestaje odwiedzać stare.
Weryfikacja: nie każdy Googlebot jest prawdziwy
Nagłówek user-agent łatwo podrobić, więc część ruchu podpisanego jako Googlebot pochodzi od zwykłych botów. Prawdziwego robota rozpoznasz przez odwrotne zapytanie DNS, które powinno wskazać domenę Google, albo przez porównanie adresu IP z listą zakresów publikowaną przez Google. Bez tego kroku wnioski mogą być błędne.
Jak przeprowadzić analizę w praktyce
Najpierw pozyskaj logi z co najmniej kilku tygodni: z panelu hostingu, od administratora serwera albo z CDN, jeśli ruch przez niego przechodzi. Na współdzielonych hostingach dostęp bywa ograniczony lub logi są krótko przechowywane, więc warto to sprawdzić wcześniej. Potem odfiltruj zweryfikowane roboty, pogrupuj adresy według typu strony i zestaw z crawlem oraz mapą witryny.
Do mniejszych plików wystarczy arkusz, do dużych lepiej sprawdzają się dedykowane analizatory logów lub narzędzia do pracy z dużymi zbiorami danych. Pamiętaj, że logi mogą zawierać adresy IP użytkowników, więc obchodź się z nimi zgodnie z zasadami ochrony danych.
Najczęstsze pytania
Czy mała strona firmowa potrzebuje analizy logów?
Zwykle nie. Przy kilkudziesięciu podstronach raporty Search Console w zupełności wystarczą. Logi dają najwięcej przy dużych sklepach, portalach i serwisach z problemami z indeksowaniem.
Czym różnią się logi od raportu statystyk indeksowania w Search Console?
Raport w Search Console pokazuje dane zagregowane i przykładowe adresy. Logi zawierają każde pojedyncze żądanie, więc pozwalają policzyć wizyty na konkretnym adresie i typie podstron.
Jak długi okres warto analizować?
Im większy serwis, tym dłuższy okres ma sens, bo część adresów robot odwiedza rzadko. Kilka tygodni to rozsądne minimum, przy migracjach warto porównać okres przed zmianą i po niej.
Zobacz także
- Techniczne SEO i optymalizacja skanowania
- Crawl budget
- Googlebot: jak działa robot Google
- Migracja strony z zachowaniem ruchu
- TTFB (Time to First Byte): jak szybko odpowiada Twój serwer
- Lazy loading: jak ładować obrazy później i nie stracić w Google
- Mobile first indexing: Google patrzy na stronę oczami smartfona
