logo

Roboty AI: crawlery do trenowania i do wyszukiwania

Roboty AI to automatyczne programy firm rozwijających sztuczną inteligencję, które pobierają strony internetowe w jednym z trzech celów: do trenowania modeli, do budowy indeksu wyszukiwania w asystencie AI albo do pobrania konkretnej strony na prośbę użytkownika. Każdy z tych robotów przedstawia się własną nazwą (user-agent), więc w pliku robots.txt można zdecydować o nich osobno. Najważniejsza zasada: zablokowanie robota trenującego nie musi wpływać na widoczność w wyszukiwaniu AI, a zablokowanie robota wyszukującego zwykle wpływa.

TodaySEO, Katowice. Pracujemy z firmami z całej Polski. Aktualizacja: .

Trzy rodzaje robotów AI

Roboty do trenowania zbierają publiczne treści, z których dostawca może korzystać przy tworzeniu kolejnych wersji modeli. Ich zablokowanie oznacza, że nowe treści strony nie powinny trafiać do przyszłych danych treningowych tego dostawcy. Nie usuwa to wiedzy, którą model już ma.

Roboty wyszukiwarek AI budują indeks, z którego asystent korzysta, gdy szuka informacji w internecie i podaje linki do źródeł. Działają podobnie do Googlebota. Jeśli je zablokujesz, strona może nie być pokazywana jako źródło w odpowiedziach z wyszukiwaniem w danym asystencie.

Trzecia grupa to agenty działające w imieniu konkretnego użytkownika, na przykład gdy ktoś wklei link do czatu albo poprosi asystenta o sprawdzenie strony. Takie pobranie jest wywołane przez człowieka, a nie przez automatyczne skanowanie sieci.

Najważniejsze roboty AI w tabeli

Nazwa w robots.txtFirmaCelSkutek blokady
GPTBotOpenAITrenowanie modeliTreści nie trafiają do przyszłego trenowania, wyszukiwanie w ChatGPT bez zmian
OAI-SearchBotOpenAIWyszukiwanie w ChatGPTStrona może nie pojawiać się jako źródło w odpowiedziach ChatGPT
ChatGPT-UserOpenAIPobranie strony na prośbę użytkownikaDotyczy działań wywołanych przez użytkownika
ClaudeBotAnthropicTrenowanie modeliTreści nie trafiają do przyszłego trenowania
Claude-SearchBotAnthropicWyszukiwanie w ClaudeStrona może nie być wskazywana w wynikach wyszukiwania Claude
Claude-UserAnthropicPobranie strony na prośbę użytkownikaDotyczy działań wywołanych przez użytkownika
PerplexityBotPerplexityIndeks wyszukiwania PerplexityStrona może nie pojawiać się w wynikach Perplexity
GooglebotGoogleWyszukiwarka Google, w tym AI Overviews i AI ModeStrona znika z wyników Google
Google-ExtendedGoogleToken kontrolujący użycie treści w GeminiTreści nie są używane w Gemini, także do groundingu; brak wpływu na wyniki Google i AI Overviews

Google-Extended a Googlebot

Google-Extended jest najczęściej źle rozumianym wpisem. To nie jest robot, który odwiedza stronę. Treści pobiera zwykły Googlebot, a token Google-Extended w robots.txt mówi jedynie, czy Google może używać tych treści do trenowania modeli Gemini i do groundingu w produktach Gemini.

Zablokowanie Google-Extended nie usuwa strony z wyszukiwarki ani z AI Overviews czy AI Mode, bo te funkcje są częścią wyszukiwarki i korzystają z indeksu budowanego przez Googlebota. Jeśli chcesz ograniczyć wyświetlanie fragmentów strony w wynikach, w tym w podsumowaniach AI, służą do tego dyrektywy nosnippet i max-snippet. Zablokowanie samego Googlebota usunęłoby stronę z wyników Google w ogóle.

Podobny mechanizm ma Apple: Applebot-Extended pozwala wyłączyć użycie treści do trenowania modeli Apple, nie blokując zwykłego Applebota. Warto znać też CCBot, robota Common Crawl, którego publiczne zbiory danych były wykorzystywane do trenowania wielu modeli.

Przykład konfiguracji robots.txt

Sklep internetowy chce być widoczny w wyszukiwaniu ChatGPT i Claude, ale nie chce, by jego opisy produktów trafiały do trenowania modeli. Dodaje więc reguły Disallow dla GPTBot, ClaudeBot i CCBot oraz wpis Google-Extended, a roboty OAI-SearchBot, Claude-SearchBot, PerplexityBot i Googlebot zostawia bez ograniczeń.

Taka konfiguracja jest kompromisem: chroni treści przed trenowaniem, ale zachowuje możliwość cytowania w odpowiedziach z wyszukiwaniem ChatGPT, Claude, Perplexity i Google. Wpis Google-Extended wyłącza jednak także grounding w Gemini, więc strona nie będzie cytowana w aplikacjach Gemini. Trzeba jednak pamiętać, że plik robots.txt to prośba, którą respektują roboty działające zgodnie z zasadami, a nie techniczna blokada dostępu. Szczegółową instrukcję wpisów znajdziesz w poradniku o robotach AI w robots.txt.

Dlaczego to ma znaczenie dla firmy

Decyzja o robotach AI wpływa bezpośrednio na to, czy marka może pojawiać się w odpowiedziach asystentów. Firma, która z ostrożności zablokowała wszystkie boty z „AI” w nazwie, mogła niechcący wyłączyć się z wyszukiwania w ChatGPT czy Perplexity, nie zyskując przy tym żadnej ochrony w Google.

Dla większości firm usługowych i lokalnych, które chcą być polecane klientom, rozsądnym punktem wyjścia jest dopuszczenie robotów wyszukujących. Decyzja o robotach trenujących zależy od charakteru treści: wydawca z płatnymi artykułami może podejść do niej inaczej niż warsztat samochodowy.

Typowe błędy

  • Blokowanie robotów wyszukujących, gdy celem było tylko wyłączenie trenowania.
  • Przekonanie, że blokada Google-Extended chroni przed AI Overviews.
  • Kopiowanie list botów z nieaktualnych artykułów zamiast sprawdzenia dokumentacji dostawców, którzy co jakiś czas zmieniają nazwy i role robotów.
  • Blokady na poziomie firewalla lub CDN, które odcinają roboty AI niezależnie od robots.txt, bez wiedzy właściciela strony.
  • Brak weryfikacji w logach serwera, czy dany robot faktycznie odwiedza stronę.

Najczęstsze pytania

Czy zablokowanie GPTBot usunie moją firmę z ChatGPT?

Nie. GPTBot służy do trenowania modeli, a za wyszukiwanie w ChatGPT odpowiada OAI-SearchBot. Blokada GPTBot nie powinna wpływać na pojawianie się strony w odpowiedziach z wyszukiwaniem.

Czy blokada Google-Extended wyłącza AI Overviews dla mojej strony?

Nie. AI Overviews i AI Mode korzystają z indeksu Googlebota. Google-Extended dotyczy użycia treści w Gemini, a do ograniczenia fragmentów w wynikach służą dyrektywy nosnippet i max-snippet.

Jak sprawdzić, czy roboty AI odwiedzają moją stronę?

Najpewniej w logach serwera, filtrując wpisy po nazwie user-agenta. Część dostawców publikuje też zakresy adresów IP swoich robotów, co pozwala odróżnić je od podszywających się botów.

Czy wszystkie roboty AI respektują robots.txt?

Główni dostawcy deklarują, że ich roboty indeksujące stosują się do robots.txt. Robots.txt nie jest jednak zabezpieczeniem technicznym, a zasady dla pobrań wywołanych przez użytkownika bywają opisane inaczej, więc warto czytać dokumentację każdego dostawcy.

Zobacz także

Nie wiesz gdzie zacząć?

Dużo zadań, tony dokumentów, skomplikowane procesy. Po prostu opowiedz nam o swoich wyzwaniach - my zajmiemy się resztą.

Skontaktuj się z nami

Wyrażam zgodę na przetwarzanie danych oraz akcpetuję Politykę Prywatności

Kontakt

Numer telefonu

+48 697 322 226