Jak wygląda i gdzie się znajduje
Plik musi leżeć pod adresem twojadomena.pl/robots.txt. Każda subdomena ma własny plik, więc sklep.twojadomena.pl nie dziedziczy reguł z domeny głównej. Plik składa się z grup: linia User-agent wskazuje robota, a pod nią linie Disallow i Allow określają ścieżki zablokowane i dozwolone. Można też dodać linię Sitemap z pełnym adresem mapy witryny.
Przykład dla sklepu: User-agent: * oraz Disallow: /koszyk/ i Disallow: /*?sort= blokują wszystkim robotom koszyk i adresy sortowania. Gwiazdka zastępuje dowolny ciąg znaków, a znak $ oznacza koniec adresu. Wielkość liter w ścieżkach ma znaczenie.
Blokada skanowania to nie blokada indeksowania
Disallow mówi robotowi: nie pobieraj tej strony. Jeśli jednak inne strony linkują do zablokowanego adresu, Google może go zaindeksować bez treści, z samym adresem i opisem w rodzaju „brak informacji o tej stronie”. Żeby strona zniknęła z wyników, potrzebny jest noindex, a robot musi mieć możliwość go odczytać. Blokowanie w robots.txt strony z noindexem działa więc odwrotnie do zamierzeń.
Google nie obsługuje też dyrektywy noindex wpisanej w robots.txt ani parametru Crawl-delay. Inne wyszukiwarki mogą traktować te zapisy inaczej, dlatego przy nietypowych regułach warto sprawdzić aktualną dokumentację.
Pułapki, które widzimy najczęściej
- Disallow: / pozostawione po pracach na serwerze testowym i przeniesione na produkcję.
- Blokada katalogów z plikami CSS i JavaScript, przez co Google nie może poprawnie wyrenderować strony.
- Ukrywanie w robots.txt „tajnych” adresów: plik jest publiczny, więc działa jak drogowskaz.
- Zbyt szerokie wzorce, np. Disallow: /p, które blokują także /produkty/ i /poradnik/.
- Sprzeczne reguły dla różnych robotów, w których nikt już nie pamięta, po co powstały.
Jak przetestować zmiany
Przed wgraniem nowego pliku sprawdź kilka kluczowych adresów: stronę główną, kategorię, produkt lub usługę, wpis na blogu. W Google Search Console znajdziesz raport robots.txt, który pokazuje pobraną wersję pliku i ewentualne błędy, a narzędzie sprawdzania adresu URL powie, czy dana strona jest zablokowana. Po zmianach obserwuj raport indeksowania stron przez kilka tygodni.
Przy większych serwisach pomocny jest crawler, który respektuje robots.txt i pokaże, ile adresów odpada po wprowadzeniu reguły. Plik robots.txt to element szerszego tematu, jakim jest zarządzanie budżetem skanowania.
Najczęstsze pytania
Czy każda strona potrzebuje pliku robots.txt?
Nie jest obowiązkowy. Bez niego roboty uznają, że mogą skanować wszystko. Przydaje się, gdy chcesz wyłączyć ze skanowania koszyk, wyniki wyszukiwania wewnętrznego czy filtry generujące tysiące adresów.
Czy robots.txt chroni dane przed dostępem?
Nie. To prośba do uczciwych robotów, a nie zabezpieczenie. Poufne zasoby chroń hasłem lub uprawnieniami po stronie serwera.
Jak szybko Google zauważy zmianę w pliku?
Google zwykle przechowuje pobraną wersję pliku w pamięci podręcznej przez pewien czas, więc zmiana nie działa natychmiast. W Search Console można poprosić o ponowne pobranie pliku po poprawce krytycznego błędu.
Zobacz także
- Techniczne SEO: konfiguracja i porządki w witrynie
- Meta robots noindex: jak wykluczyć stronę z indeksu
- Crawl budget: na co robot wydaje czas
- Dlaczego strony nie ma w Google
- Audyt SEO strony
- Atrybut hreflang: jak pokazać Google wersje językowe strony
- Atrybuty linków nofollow, sponsored i ugc w praktyce
- Błąd soft 404: gdy strona udaje, że działa
