logo

Plik robots.txt: zasady, składnia i najczęstsze pułapki

Robots.txt to plik tekstowy w głównym katalogu domeny, w którym właściciel strony podaje robotom wyszukiwarek, które adresy mogą odwiedzać, a których nie. Steruje skanowaniem, a nie indeksowaniem, i to rozróżnienie jest źródłem większości problemów. Jedna błędna linijka potrafi zatrzymać roboty na całej witrynie.

TodaySEO, Katowice. Pracujemy z firmami z całej Polski. Aktualizacja: .

Jak wygląda i gdzie się znajduje

Plik musi leżeć pod adresem twojadomena.pl/robots.txt. Każda subdomena ma własny plik, więc sklep.twojadomena.pl nie dziedziczy reguł z domeny głównej. Plik składa się z grup: linia User-agent wskazuje robota, a pod nią linie Disallow i Allow określają ścieżki zablokowane i dozwolone. Można też dodać linię Sitemap z pełnym adresem mapy witryny.

Przykład dla sklepu: User-agent: * oraz Disallow: /koszyk/ i Disallow: /*?sort= blokują wszystkim robotom koszyk i adresy sortowania. Gwiazdka zastępuje dowolny ciąg znaków, a znak $ oznacza koniec adresu. Wielkość liter w ścieżkach ma znaczenie.

Blokada skanowania to nie blokada indeksowania

Disallow mówi robotowi: nie pobieraj tej strony. Jeśli jednak inne strony linkują do zablokowanego adresu, Google może go zaindeksować bez treści, z samym adresem i opisem w rodzaju „brak informacji o tej stronie”. Żeby strona zniknęła z wyników, potrzebny jest noindex, a robot musi mieć możliwość go odczytać. Blokowanie w robots.txt strony z noindexem działa więc odwrotnie do zamierzeń.

Google nie obsługuje też dyrektywy noindex wpisanej w robots.txt ani parametru Crawl-delay. Inne wyszukiwarki mogą traktować te zapisy inaczej, dlatego przy nietypowych regułach warto sprawdzić aktualną dokumentację.

Pułapki, które widzimy najczęściej

  • Disallow: / pozostawione po pracach na serwerze testowym i przeniesione na produkcję.
  • Blokada katalogów z plikami CSS i JavaScript, przez co Google nie może poprawnie wyrenderować strony.
  • Ukrywanie w robots.txt „tajnych” adresów: plik jest publiczny, więc działa jak drogowskaz.
  • Zbyt szerokie wzorce, np. Disallow: /p, które blokują także /produkty/ i /poradnik/.
  • Sprzeczne reguły dla różnych robotów, w których nikt już nie pamięta, po co powstały.

Jak przetestować zmiany

Przed wgraniem nowego pliku sprawdź kilka kluczowych adresów: stronę główną, kategorię, produkt lub usługę, wpis na blogu. W Google Search Console znajdziesz raport robots.txt, który pokazuje pobraną wersję pliku i ewentualne błędy, a narzędzie sprawdzania adresu URL powie, czy dana strona jest zablokowana. Po zmianach obserwuj raport indeksowania stron przez kilka tygodni.

Przy większych serwisach pomocny jest crawler, który respektuje robots.txt i pokaże, ile adresów odpada po wprowadzeniu reguły. Plik robots.txt to element szerszego tematu, jakim jest zarządzanie budżetem skanowania.

Najczęstsze pytania

Czy każda strona potrzebuje pliku robots.txt?

Nie jest obowiązkowy. Bez niego roboty uznają, że mogą skanować wszystko. Przydaje się, gdy chcesz wyłączyć ze skanowania koszyk, wyniki wyszukiwania wewnętrznego czy filtry generujące tysiące adresów.

Czy robots.txt chroni dane przed dostępem?

Nie. To prośba do uczciwych robotów, a nie zabezpieczenie. Poufne zasoby chroń hasłem lub uprawnieniami po stronie serwera.

Jak szybko Google zauważy zmianę w pliku?

Google zwykle przechowuje pobraną wersję pliku w pamięci podręcznej przez pewien czas, więc zmiana nie działa natychmiast. W Search Console można poprosić o ponowne pobranie pliku po poprawce krytycznego błędu.

Zobacz także

Nie wiesz gdzie zacząć?

Dużo zadań, tony dokumentów, skomplikowane procesy. Po prostu opowiedz nam o swoich wyzwaniach - my zajmiemy się resztą.

Skontaktuj się z nami

Wyrażam zgodę na przetwarzanie danych oraz akcpetuję Politykę Prywatności

Kontakt

Numer telefonu

+48 697 322 226