Trzy rodzaje robotów AI
Roboty do trenowania zbierają publiczne treści, z których dostawca może korzystać przy tworzeniu kolejnych wersji modeli. Ich zablokowanie oznacza, że nowe treści strony nie powinny trafiać do przyszłych danych treningowych tego dostawcy. Nie usuwa to wiedzy, którą model już ma.
Roboty wyszukiwarek AI budują indeks, z którego asystent korzysta, gdy szuka informacji w internecie i podaje linki do źródeł. Działają podobnie do Googlebota. Jeśli je zablokujesz, strona może nie być pokazywana jako źródło w odpowiedziach z wyszukiwaniem w danym asystencie.
Trzecia grupa to agenty działające w imieniu konkretnego użytkownika, na przykład gdy ktoś wklei link do czatu albo poprosi asystenta o sprawdzenie strony. Takie pobranie jest wywołane przez człowieka, a nie przez automatyczne skanowanie sieci.
Najważniejsze roboty AI w tabeli
| Nazwa w robots.txt | Firma | Cel | Skutek blokady |
|---|---|---|---|
| GPTBot | OpenAI | Trenowanie modeli | Treści nie trafiają do przyszłego trenowania, wyszukiwanie w ChatGPT bez zmian |
| OAI-SearchBot | OpenAI | Wyszukiwanie w ChatGPT | Strona może nie pojawiać się jako źródło w odpowiedziach ChatGPT |
| ChatGPT-User | OpenAI | Pobranie strony na prośbę użytkownika | Dotyczy działań wywołanych przez użytkownika |
| ClaudeBot | Anthropic | Trenowanie modeli | Treści nie trafiają do przyszłego trenowania |
| Claude-SearchBot | Anthropic | Wyszukiwanie w Claude | Strona może nie być wskazywana w wynikach wyszukiwania Claude |
| Claude-User | Anthropic | Pobranie strony na prośbę użytkownika | Dotyczy działań wywołanych przez użytkownika |
| PerplexityBot | Perplexity | Indeks wyszukiwania Perplexity | Strona może nie pojawiać się w wynikach Perplexity |
| Googlebot | Wyszukiwarka Google, w tym AI Overviews i AI Mode | Strona znika z wyników Google | |
| Google-Extended | Token kontrolujący użycie treści w Gemini | Treści nie są używane w Gemini, także do groundingu; brak wpływu na wyniki Google i AI Overviews |
Google-Extended a Googlebot
Google-Extended jest najczęściej źle rozumianym wpisem. To nie jest robot, który odwiedza stronę. Treści pobiera zwykły Googlebot, a token Google-Extended w robots.txt mówi jedynie, czy Google może używać tych treści do trenowania modeli Gemini i do groundingu w produktach Gemini.
Zablokowanie Google-Extended nie usuwa strony z wyszukiwarki ani z AI Overviews czy AI Mode, bo te funkcje są częścią wyszukiwarki i korzystają z indeksu budowanego przez Googlebota. Jeśli chcesz ograniczyć wyświetlanie fragmentów strony w wynikach, w tym w podsumowaniach AI, służą do tego dyrektywy nosnippet i max-snippet. Zablokowanie samego Googlebota usunęłoby stronę z wyników Google w ogóle.
Podobny mechanizm ma Apple: Applebot-Extended pozwala wyłączyć użycie treści do trenowania modeli Apple, nie blokując zwykłego Applebota. Warto znać też CCBot, robota Common Crawl, którego publiczne zbiory danych były wykorzystywane do trenowania wielu modeli.
Przykład konfiguracji robots.txt
Sklep internetowy chce być widoczny w wyszukiwaniu ChatGPT i Claude, ale nie chce, by jego opisy produktów trafiały do trenowania modeli. Dodaje więc reguły Disallow dla GPTBot, ClaudeBot i CCBot oraz wpis Google-Extended, a roboty OAI-SearchBot, Claude-SearchBot, PerplexityBot i Googlebot zostawia bez ograniczeń.
Taka konfiguracja jest kompromisem: chroni treści przed trenowaniem, ale zachowuje możliwość cytowania w odpowiedziach z wyszukiwaniem ChatGPT, Claude, Perplexity i Google. Wpis Google-Extended wyłącza jednak także grounding w Gemini, więc strona nie będzie cytowana w aplikacjach Gemini. Trzeba jednak pamiętać, że plik robots.txt to prośba, którą respektują roboty działające zgodnie z zasadami, a nie techniczna blokada dostępu. Szczegółową instrukcję wpisów znajdziesz w poradniku o robotach AI w robots.txt.
Dlaczego to ma znaczenie dla firmy
Decyzja o robotach AI wpływa bezpośrednio na to, czy marka może pojawiać się w odpowiedziach asystentów. Firma, która z ostrożności zablokowała wszystkie boty z „AI” w nazwie, mogła niechcący wyłączyć się z wyszukiwania w ChatGPT czy Perplexity, nie zyskując przy tym żadnej ochrony w Google.
Dla większości firm usługowych i lokalnych, które chcą być polecane klientom, rozsądnym punktem wyjścia jest dopuszczenie robotów wyszukujących. Decyzja o robotach trenujących zależy od charakteru treści: wydawca z płatnymi artykułami może podejść do niej inaczej niż warsztat samochodowy.
Typowe błędy
- Blokowanie robotów wyszukujących, gdy celem było tylko wyłączenie trenowania.
- Przekonanie, że blokada Google-Extended chroni przed AI Overviews.
- Kopiowanie list botów z nieaktualnych artykułów zamiast sprawdzenia dokumentacji dostawców, którzy co jakiś czas zmieniają nazwy i role robotów.
- Blokady na poziomie firewalla lub CDN, które odcinają roboty AI niezależnie od robots.txt, bez wiedzy właściciela strony.
- Brak weryfikacji w logach serwera, czy dany robot faktycznie odwiedza stronę.
Najczęstsze pytania
Czy zablokowanie GPTBot usunie moją firmę z ChatGPT?
Nie. GPTBot służy do trenowania modeli, a za wyszukiwanie w ChatGPT odpowiada OAI-SearchBot. Blokada GPTBot nie powinna wpływać na pojawianie się strony w odpowiedziach z wyszukiwaniem.
Czy blokada Google-Extended wyłącza AI Overviews dla mojej strony?
Nie. AI Overviews i AI Mode korzystają z indeksu Googlebota. Google-Extended dotyczy użycia treści w Gemini, a do ograniczenia fragmentów w wynikach służą dyrektywy nosnippet i max-snippet.
Jak sprawdzić, czy roboty AI odwiedzają moją stronę?
Najpewniej w logach serwera, filtrując wpisy po nazwie user-agenta. Część dostawców publikuje też zakresy adresów IP swoich robotów, co pozwala odróżnić je od podszywających się botów.
Czy wszystkie roboty AI respektują robots.txt?
Główni dostawcy deklarują, że ich roboty indeksujące stosują się do robots.txt. Robots.txt nie jest jednak zabezpieczeniem technicznym, a zasady dla pobrań wywołanych przez użytkownika bywają opisane inaczej, więc warto czytać dokumentację każdego dostawcy.
