Jak sprawdzić, które roboty AI odwiedzają Twoją stronę? GPTBot, ClaudeBot, PerplexityBot i inni

Robot Google odwiedzający stronę internetową nikogo już nie dziwi. Googlebot pobiera dokumenty, analizuje je i umożliwia ich późniejsze wyświetlanie w wynikach wyszukiwania. W ostatnich latach do klasycznych crawlerów dołączyła jednak nowa grupa: roboty firm rozwijających systemy sztucznej inteligencji.

W logach serwera można obecnie znaleźć między innymi GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot czy PerplexityBot. Do tego dochodzą boty Meta, Apple, Amazon, ByteDance i innych operatorów. Nie wszystkie wykonują jednak to samo zadanie. Jeden robot może zbierać dane wykorzystywane do rozwoju modeli, drugi indeksować strony dla wyszukiwarki AI, a jeszcze inny odwiedzać konkretny adres dopiero wtedy, gdy użytkownik poprosi asystenta o sprawdzenie strony.

Dlatego sama informacja „bot AI odwiedził witrynę” niewiele mówi. Znacznie ciekawsze jest ustalenie: który robot przyszedł, jakie adresy pobierał, jak często wraca i w jakim celu odwiedza serwis.

Robot AI nie zawsze oznacza to samo

Najważniejsze jest rozróżnienie kilku rodzajów automatycznego ruchu. Dobrym przykładem jest OpenAI, które oficjalnie rozdziela roboty według ich funkcji.

Już na tym przykładzie widać, dlaczego wrzucanie wszystkich botów AI do jednej kategorii może prowadzić do błędnych wniosków.

GPTBot i OAI-SearchBot – różnica jest bardzo ważna

OpenAI wyraźnie rozdziela dwa zastosowania. GPTBot jest crawlerem związanym z treściami, które mogą zostać wykorzystane do ulepszania i trenowania generatywnych modeli OpenAI. OAI-SearchBot służy natomiast do wyszukiwania i umożliwia odkrywanie stron, które mogą później pojawiać się w wynikach wyszukiwania ChatGPT.

Ma to praktyczne znaczenie dla właściciela strony. Można na przykład nie chcieć udostępniać zawartości do treningu modeli, a jednocześnie nadal chcieć pojawiać się w wyszukiwaniu ChatGPT.

Te dwa przypadki można kontrolować oddzielnie w pliku robots.txt.

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Taki zapis wyraża dwie różne decyzje: blokujemy GPTBot, ale pozwalamy robotowi odpowiedzialnemu za wyszukiwanie odwiedzać witrynę.

A czym jest ChatGPT-User?

To jeszcze inna sytuacja. ChatGPT-User może odwiedzić stronę w związku z konkretną czynnością wykonywaną przez użytkownika ChatGPT. Nie jest to typowy crawler systematycznie przemierzający internet.

Przykładowo użytkownik może poprosić asystenta o przeanalizowanie konkretnej strony lub uzyskanie aktualnej informacji. Wtedy system może pobrać dokument właśnie w odpowiedzi na tę prośbę.

Z punktu widzenia analityki różnica jest znacząca:

• GPTBot może oznaczać automatyczne crawlowanie,
• OAI-SearchBot może wskazywać zainteresowanie systemu wyszukiwania treścią,
• ChatGPT-User może być znacznie bliżej rzeczywistej aktywności użytkownika.

Gdzie sprawdzić, czy roboty AI odwiedzają stronę?

Najlepszym źródłem są logi serwera WWW. To zapis każdego żądania kierowanego do serwera, niezależnie od tego, czy pochodzi od zwykłego użytkownika, Googlebota czy robota AI.

Typowy wpis może zawierać:

• adres IP,
• datę i godzinę,
• żądany adres URL,
• kod odpowiedzi HTTP,
• User-Agent,
• czas odpowiedzi,
• wielkość przesłanych danych.

Właśnie pole User-Agent jest najprostszym miejscem, od którego można rozpocząć identyfikację crawlera.

Czego szukać w logach?

Można wyszukiwać ciągi znaków takie jak:

• GPTBot,
• OAI-SearchBot,
• ChatGPT-User,
• ClaudeBot,
• Claude-SearchBot,
• Claude-User,
• PerplexityBot,
• Perplexity-User,
• Google-CloudVertexBot,
• Bytespider,
• CCBot,
• Amazonbot,
• Applebot,
• Meta-ExternalAgent.

W przypadku dużej witryny najlepiej wykonać analizę automatycznie, ponieważ miesięczny plik logów może zawierać setki tysięcy albo miliony wpisów.

Sam User-Agent nie daje jednak pełnej pewności

To bardzo ważne zastrzeżenie. Dowolny program może przedstawić się jako „GPTBot” albo „Googlebot”. Sam tekst User-Agent nie jest więc wystarczającym dowodem, że odwiedziny rzeczywiście pochodzą od danego operatora.

Dlatego warto dodatkowo sprawdzać:

• adres IP,
• opublikowane przez operatora zakresy adresów,
• reverse DNS, jeśli dana firma wykorzystuje taką metodę weryfikacji,
• systemy klasyfikujące zweryfikowane boty.

OpenAI publikuje między innymi osobne zakresy IP dla swoich crawlerów. Podobne mechanizmy weryfikacyjne wykorzystują również inni operatorzy.

Cloudflare może znacznie uprościć analizę

Jeżeli witryna korzysta z Cloudflare, nie zawsze trzeba ręcznie analizować surowe logi serwera. Cloudflare rozwija funkcję AI Crawl Control, która rozpoznaje wiele popularnych robotów AI i pokazuje ich aktywność.

Można tam analizować między innymi:

• liczbę żądań crawlerów AI,
• najczęściej odwiedzane adresy,
• kody odpowiedzi HTTP,
• konkretne roboty,
• zmiany ruchu w czasie,
• ruch związany z wyszukiwaniem, agentami i treningiem.

To ostatnie rozróżnienie jest szczególnie ciekawe. Cloudflare klasyfikuje obecnie ruch AI między innymi jako Search, Agent oraz Training. Dzięki temu właściciel strony może inaczej potraktować crawlera wyszukiwarki AI, a inaczej crawlera pobierającego treści do treningu.

Jakie dane warto wyciągnąć z logów?

Samo policzenie liczby odwiedzin nie jest szczególnie użyteczne. Znacznie ciekawsze jest zestawienie aktywności robota z konkretnymi częściami serwisu.

Przykład: blog firmowy odwiedzany przez kilka crawlerów AI

Załóżmy, że firma posiada 150 artykułów blogowych. Analiza logów z trzech miesięcy pokazuje:

• OAI-SearchBot najczęściej pobiera nowe artykuły eksperckie,
• GPTBot odwiedza znacznie większą liczbę adresów,
• PerplexityBot regularnie wraca do kilku poradników,
• ClaudeBot odwiedza również starsze materiały,
• roboty AI rzadko otwierają podstrony kontaktowe i prawne.

Sama obserwacja nie dowodzi jeszcze, że artykuły pojawiają się w odpowiedziach AI. Pokazuje jednak, że treści są odkrywane i pobierane przez konkretne systemy.

Kolejnym etapem może być sprawdzenie, czy właśnie te adresy występują później jako cytowania w ChatGPT, Perplexity lub innych narzędziach.

Czy w Google Analytics zobaczymy GPTBot?

Zwykle nie jest to najlepsze miejsce do takiej analizy. Klasyczny crawler pobierający HTML nie musi wykonywać kodu JavaScript odpowiedzialnego za uruchomienie Google Analytics.

Dlatego raport GA4 może pokazywać zero sesji, podczas gdy serwer w tym samym czasie obsłużył setki żądań robotów AI.

To właśnie jeden z powodów, dla których logi serwera są przy analizie crawlerów znacznie bardziej wiarygodne niż klasyczna analityka użytkowników.

Crawler AI i ruch z AI to również dwie różne rzeczy

Nie należy mylić wizyty OAI-SearchBot z użytkownikiem, który przyszedł na stronę z ChatGPT.

W pierwszym przypadku system pobiera treść.

W drugim użytkownik klika link w odpowiedzi AI i otwiera stronę w swojej przeglądarce.

Można więc mieć:

• dużo crawlowania i mało ruchu referral,
• mało widocznego crawlowania i pewną liczbę wejść użytkowników,
• zarówno dużo crawl, jak i rosnący ruch z AI.

Najlepiej analizować te dwa zbiory danych oddzielnie.

Czy warto blokować roboty AI?

Nie istnieje jedna właściwa odpowiedź dla wszystkich serwisów.

Wydawca posiadający kosztowne, płatne treści może mieć zupełnie inne cele niż firma usługowa, która chce, aby jej poradniki były znajdowane i cytowane przez ChatGPT.

Przed blokowaniem warto więc ustalić:

• który konkretnie bot chcemy zablokować,
• czy służy do treningu, wyszukiwania czy obsługi żądań użytkowników,
• czy zależy nam na widoczności w danym systemie AI,
• czy bot generuje nadmierne obciążenie serwera,
• czy treści mają charakter publiczny czy płatny.

Automatyczne blokowanie wszystkiego, co zawiera słowo „AI”, może spowodować, że strona ograniczy również możliwość pojawiania się w nowych kanałach wyszukiwania.

Google-Extended jest nietypowym przypadkiem

Google stosuje między innymi token Google-Extended, który pozwala właścicielowi strony określić, czy treści pobrane przez Google mogą być wykorzystywane między innymi przez systemy Gemini.

Co ciekawe, Google-Extended nie jest osobnym crawlerem widocznym w logach jako niezależny User-Agent. Jest przede wszystkim mechanizmem kontrolowanym poprzez robots.txt. Sam crawl może odbywać się za pomocą istniejącej infrastruktury Google.

To kolejny dowód, że prosta lista User-Agentów nie pokazuje całego obrazu ruchu związanego z AI.

Co warto monitorować raz w miesiącu?

Dla firmowego serwisu można przygotować prosty raport obejmujący:

• liczbę wizyt każdego rozpoznanego crawlera AI,
• TOP20 najczęściej pobieranych URL-i,
• nowe roboty, które pojawiły się w logach,
• udział kodów 200, 403, 404 i 5xx,
• częstotliwość crawlowania nowych artykułów,
• porównanie crawlowania z cytowaniami strony w AI,
• ruch referral pochodzący z ChatGPT, Claude czy Perplexity.

Po kilku miesiącach można już zobaczyć ciekawe wzorce: które treści są najczęściej pobierane, czy nowe publikacje są szybko odkrywane i czy rosnąca aktywność botów pokrywa się z większą widocznością w systemach generatywnych.

Najważniejszy wniosek

Roboty AI nie są już pojedynczą nowinką techniczną. Powstaje osobny ekosystem crawlerów związanych z treningiem modeli, wyszukiwaniem informacji i wykonywaniem zadań na żądanie użytkowników.

Dlatego pytanie:

„Czy GPTBot odwiedza moją stronę?”

jest dopiero początkiem analizy.

Znacznie bardziej interesujące są pytania:

„Które systemy odwiedzają stronę?”, „jakie treści pobierają?”, „czy robią to regularnie?” oraz „czy później wykorzystują te materiały w odpowiedziach dla użytkowników?”

Dostęp do tych informacji już istnieje. W wielu przypadkach wystarczą zwykłe logi serwera, a w serwisach korzystających z odpowiednich usług CDN analiza może być jeszcze prostsza.

W czasach, gdy widoczność firmy przestaje zależeć wyłącznie od Google, analiza botów AI może stać się dla webmastera równie naturalnym elementem pracy jak sprawdzanie Googlebota, Search Console czy indeksacji strony.

Źródła

• OpenAI – oficjalna dokumentacja OAI-SearchBot, GPTBot i ChatGPT-User.
• Anthropic – dokumentacja robotów ClaudeBot, Claude-SearchBot i Claude-User.
• Perplexity – dokumentacja PerplexityBot i robotów związanych z obsługą użytkowników.
• Google – dokumentacja Google-Extended i robotów infrastruktury Google.
• Cloudflare – AI Crawl Control, klasyfikacja crawlerów AI oraz baza zweryfikowanych botów.