Trzy rodzaje robotów AI i dlaczego to rozróżnienie jest kluczowe
Przez długi czas popularną radą było blokowanie wszystkich robotów AI jednym ruchem. Dziś to zwykle zły pomysł dla firmy, która chce być polecana przez asystentów. Główni dostawcy rozdzielili roboty według celu, a każdy z nich ma osobną nazwę w polu User-agent, więc możesz decydować o nich niezależnie.
Roboty treningowe
Zbierają publiczne treści, które mogą zostać użyte do trenowania przyszłych modeli. Przykłady: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl, z którego korzysta wiele firm). Blokada oznacza, że Twoje nowe treści nie trafią do danych treningowych tych firm.
Roboty wyszukujące
Budują indeks, z którego asystent korzysta, gdy szuka aktualnych informacji w sieci. Przykłady: OAI-SearchBot (wyszukiwanie w ChatGPT), Claude-SearchBot (Anthropic), PerplexityBot (Perplexity). Blokada może sprawić, że strona nie będzie pokazywana ani cytowana w odpowiedziach z wyszukiwaniem.
Pobieranie na prośbę użytkownika
Gdy użytkownik wklei link albo asystent w trakcie rozmowy otworzy konkretną stronę, robi to agent działający w imieniu użytkownika, na przykład ChatGPT-User, Claude-User czy Perplexity-User. Dostawcy różnie opisują, czy i jak takie pobrania respektują robots.txt, więc sprawdzaj ich aktualną dokumentację.
Najważniejsze roboty i skutki ich blokady
Poniższa tabela zbiera nazwy, które najczęściej pojawiają się w logach serwera. Lista robotów i ich opisy zmieniają się, dlatego przed wdrożeniem reguł porównaj ją z dokumentacją dostawcy.
| User-agent | Dostawca | Cel | Skutek blokady |
|---|---|---|---|
| GPTBot | OpenAI | Trening modeli | Treści nie trafią do treningu, wyszukiwanie w ChatGPT bez zmian |
| OAI-SearchBot | OpenAI | Wyszukiwanie w ChatGPT | Strona może nie pojawiać się w wynikach wyszukiwania ChatGPT |
| ClaudeBot | Anthropic | Trening modeli | Treści nie trafią do treningu modeli Claude |
| Claude-SearchBot | Anthropic | Wyszukiwanie w Claude | Mniejsza szansa na cytowanie w odpowiedziach z wyszukiwaniem |
| PerplexityBot | Perplexity | Indeks wyszukiwania Perplexity | Strona może zniknąć ze źródeł Perplexity |
| Google-Extended | Token kontroli użycia w Gemini i treningu | Brak wpływu na wyszukiwarkę Google i AI Overviews | |
| Bingbot | Microsoft | Indeks Binga, z którego korzysta Copilot | Blokada usuwa stronę z Binga i osłabia obecność w Copilocie |
Google-Extended: częste nieporozumienie
Google-Extended nie jest robotem, który odwiedza stronę. To token, który wpisujesz w robots.txt, żeby powiedzieć Google, czy treści pobrane przez jego roboty mogą być używane do trenowania modeli Gemini i do części funkcji Gemini. Strony pobiera nadal Googlebot.
Najważniejsze: według dokumentacji Google token ten nie wpływa na wyszukiwarkę, w tym na AI Overviews i tryb AI. Te funkcje korzystają z indeksu wyszukiwarki. Jeśli chcesz ograniczyć wykorzystanie treści w odpowiedziach AI w wyszukiwarce, Google wskazuje na znaczniki kontroli fragmentów, takie jak nosnippet czy max-snippet, które jednocześnie ograniczają zwykłe fragmenty w wynikach. Blokowanie Googlebota usuwa stronę z wyszukiwarki w ogóle.
Przykładowa konfiguracja dla firmy, która chce być widoczna w AI
Najczęstszy wariant dla firmy usługowej lub sklepu: wszystkie roboty wyszukujące mają dostęp, a decyzja o robotach treningowych zależy od Twojego stanowiska. Wiele firm usługowych nie blokuje niczego, bo zależy im na tym, żeby modele znały ich ofertę. Wydawcy i autorzy treści płatnych częściej blokują trening. Przykładowe reguły, gdy chcesz zablokować tylko trening:
- User-agent: GPTBot, a pod nim Disallow: /
- User-agent: ClaudeBot, a pod nim Disallow: /
- User-agent: Google-Extended, a pod nim Disallow: /
- Dla OAI-SearchBot, Claude-SearchBot, PerplexityBot i Bingbota brak blokady lub Allow: /
- Pozostałe reguły, na przykład blokada koszyka czy wyników wyszukiwania wewnętrznego, w grupie User-agent: *
Gdzie jeszcze mogą być blokowane roboty AI
Robots.txt to nie jedyne miejsce, które decyduje o dostępie. Bywa, że plik jest poprawny, a roboty i tak dostają błąd. Warto sprawdzić:
- Zaporę aplikacyjną i ochronę przed botami w CDN. Niektórzy dostawcy, na przykład Cloudflare, mają osobne ustawienia dla robotów AI, które mogą blokować je niezależnie od robots.txt.
- Wtyczki bezpieczeństwa w WordPressie, które blokują nieznane lub nowe nazwy User-agent.
- Limity zapytań na serwerze, które przy intensywnym skanowaniu zwracają błąd 429 lub 503.
- Logi serwera: czy roboty asystentów w ogóle odwiedzają stronę i jakie kody odpowiedzi dostają.
Ograniczenia robots.txt
Robots.txt to prośba, a nie zabezpieczenie. Renomowani dostawcy deklarują jego przestrzeganie, ale nie każdy robot w sieci to robi, a niektóre podszywają się pod znane nazwy. Jeśli treść nie może trafić do sieci, chroń ją logowaniem, a nie regułą w pliku.
Pamiętaj też, że blokada działa na przyszłość. Treści, które zostały już pobrane wcześniej, nie znikają automatycznie z modeli ani indeksów. Po zmianie reguł daj dostawcom czas na odczytanie nowej wersji pliku i obserwuj logi.
Najczęstsze pytania
Czy zablokowanie GPTBota usunie mnie z ChatGPT?
Nie z wyszukiwania w ChatGPT. GPTBot służy do zbierania danych treningowych, a za wyszukiwanie odpowiada OAI-SearchBot. Jeśli OAI-SearchBot ma dostęp, strona nadal może pojawiać się w odpowiedziach z wyszukiwaniem.
Czy blokada Google-Extended usuwa stronę z AI Overviews?
Nie. Według dokumentacji Google token Google-Extended nie wpływa na wyszukiwarkę, w tym na AI Overviews i tryb AI. Do ograniczania fragmentów w wynikach służą znaczniki takie jak nosnippet, które działają też na zwykłe opisy.
Czy firma usługowa powinna blokować roboty AI?
Zwykle nie roboty wyszukujące, bo to one decydują o szansie na cytowanie w asystentach. O blokadzie robotów treningowych decyduje stanowisko firmy wobec wykorzystania jej treści. Dla większości firm usługowych korzyść z obecności w AI przeważa.
Jak sprawdzić, czy roboty AI odwiedzają moją stronę?
Najpewniej w logach serwera, filtrując wpisy po nazwach User-agent, takich jak GPTBot, OAI-SearchBot czy PerplexityBot. Część dostawców CDN pokazuje też ruch robotów AI w panelu. Sprawdź, czy dostają kod 200, a nie błędy.
Czy możecie sprawdzić konfigurację robots.txt pod kątem AI?
Tak, przegląd robots.txt, ustawień CDN i logów pod kątem robotów wyszukiwarek i asystentów AI wykonujemy w ramach audytu technicznego i audytu widoczności w AI. Zakres ustalamy indywidualnie.
Zobacz także
- Robots.txt: definicja
- Jak wdrożyć llms.txt
- Bing Webmaster Tools
- Analiza logów serwera
- Techniczne SEO
- Pozycjonowanie w AI (GEO, AEO)
- Sekcja FAQ na stronie: jak pisać pytania i odpowiedzi dla klientów, Google i AI
- Strona O nas pod SEO i AI: dane firmy, E-E-A-T i spójny obraz marki
- Google AI Mode: jak zwiększyć szanse, że Twoja strona będzie źródłem odpowiedzi
