W tym artykule znajdziesz listę najważniejszych botów AI, odpowiedź na pytanie, czy blokować boty treningowe, gotowy plik i błędy, które widzimy najczęściej.
Dwa rodzaje botów AI
Boty AI dzielą się na dwie grupy i decyzja o każdej z nich ma inne skutki.
Boty, które szukają odpowiedzi
Wchodzą na Twoją stronę, gdy ktoś zadaje pytanie albo gdy silnik buduje indeks do wyszukiwania. To dzięki nim AI może Cię zacytować i podać link. Zablokowanie ich = zniknięcie z odpowiedzi.
Boty, które zbierają dane do trenowania
Pobierają treści, z których uczą się przyszłe modele. Nie decydują o tym, czy zostaniesz zacytowany dziś w odpowiedzi z wyszukiwaniem — ale decydują o tym, co model będzie wiedział o Twojej firmie „z pamięci”.
Boty, które musisz wpuścić
Jeśli chcesz, żeby AI polecało Twoją firmę, te boty muszą mieć dostęp do strony:
| Bot | Firma | Do czego służy |
|---|---|---|
| OAI-SearchBot | OpenAI | Wyszukiwanie w ChatGPT — strony, które ChatGPT może pokazać i zacytować |
| ChatGPT-User | OpenAI | Wchodzi na stronę, gdy użytkownik ChatGPT o nią poprosi |
| Claude-SearchBot | Anthropic | Wyszukiwanie w Claude |
| Claude-User | Anthropic | Wchodzi na stronę na prośbę użytkownika Claude |
| PerplexityBot | Perplexity | Indeks stron, z których korzysta Perplexity |
| Perplexity-User | Perplexity | Wchodzi na stronę na prośbę użytkownika |
| Googlebot | Zwykły indeks Google — z niego korzystają też odpowiedzi AI w wyszukiwarce i aplikacja Gemini | |
| Bingbot | Microsoft | Indeks Binga, z którego korzysta m.in. Copilot |
Czy blokować boty treningowe?
| Bot | Firma | Do czego służy |
|---|---|---|
| GPTBot | OpenAI | Dane do trenowania modeli |
| ClaudeBot | Anthropic | Dane do trenowania modeli |
| CCBot | Common Crawl | Otwarte archiwum sieci, z którego korzysta wiele firm AI |
| Applebot-Extended | Apple | Zgoda na użycie treści do trenowania modeli Apple |
| Bytespider | ByteDance | Dane do trenowania modeli |
| meta-externalagent | Meta | Dane do trenowania modeli |
Krótko: jeśli zależy Ci na widoczności w AI, wpuść je. Blokada nie odetnie Cię od cytowań w odpowiedziach z wyszukiwaniem, ale ma swój koszt.
Co tracisz, blokując boty treningowe
Część odpowiedzi AI powstaje bez wyszukiwania, z wiedzy, którą model zdobył podczas trenowania. Jeśli Twoich treści nie było w danych, przyszły model będzie wiedział o Twojej firmie mniej — i rzadziej wymieni ją z pamięci.
Kiedy blokada ma sens
Gdy Twoje treści są produktem — płatne analizy, raporty, kursy — i nie chcesz, żeby trafiały do modeli za darmo. To uczciwa decyzja biznesowa, tylko podejmij ją świadomie. My na brandalyze.pl wpuszczamy wszystkie boty, także treningowe.
Pułapka: Google-Extended
To najczęstsza pomyłka. Google-Extended nie jest osobnym botem — to „przełącznik” w robots.txt, który mówi Google, czy może używać Twoich treści w Gemini.
- Blokada Google-Extended nie wpływa na wyniki wyszukiwania Google ani na odpowiedzi AI w wyszukiwarce (AI Overviews, tryb AI).
- Blokada wyłącza Twoje treści z trenowania Gemini, ale też z odpowiedzi w aplikacji Gemini, które opierają się na stronach.
Czyli to nie jest „tylko trening”. Jeśli zależy Ci na widoczności w aplikacji Gemini, nie blokuj go.
A co z Grokiem i innymi?
Grok (xAI)
xAI nie publikuje oficjalnej nazwy swojego bota. W sieci krążą nazwy takie jak „GrokBot” czy „xAI-Grok”, ale pochodzą z nieoficjalnych list, a testy pokazują, że Grok często pobiera strony jak zwykła przeglądarka. Wniosek: reguła w robots.txt dla Groka może niczego nie zmienić — a jeśli niczego nie blokujesz, nie musisz nic robić.
Inne boty, które możesz spotkać
| Bot | Firma | Do czego służy |
|---|---|---|
| Applebot | Apple | Wyszukiwanie w Siri i Spotlight |
| Meta-ExternalFetcher | Meta | Pobiera stronę na prośbę użytkownika Meta AI |
| DuckAssistBot | DuckDuckGo | Odpowiedzi AI w wyszukiwarce DuckDuckGo |
| MistralAI-User | Mistral | Pobiera stronę na prośbę użytkownika Le Chat |
| Amazonbot | Amazon | Usługi Amazon, także modele AI |
Nowe boty pojawiają się co kilka miesięcy. Dlatego najbezpieczniejsza zasada brzmi: wpuszczaj wszystkich i blokuj tylko to, co świadomie chcesz zablokować — zamiast odwrotnie.
Przykładowy plik robots.txt
Jeśli chcesz wpuścić wszystkie boty, w tym AI, wystarczy to. Zmień ścieżki i adres mapy witryny na swoje.
# Wpuszczamy wszystkie boty, także AI (wyszukujące i treningowe)
User-agent: *
Allow: /
Disallow: /koszyk/
Disallow: /panel/
Sitemap: https://twojadomena.pl/sitemap.xmlJeśli świadomie chcesz zablokować boty treningowe, dopisz dla nich osobną grupę:
# Boty treningowe — blokada to decyzja o danych
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
Disallow: /
# Wszyscy pozostali, w tym boty wyszukujące AI
User-agent: *
Allow: /
Disallow: /koszyk/
Disallow: /panel/
Sitemap: https://twojadomena.pl/sitemap.xmlUwaga na regułę „dla wszystkich”
Bot, który ma w pliku własną grupę (np. „User-agent: OAI-SearchBot”), stosuje się tylko do niej. Reguły z grupy „User-agent: *” go nie dotyczą.
Na przykład: jeśli zablokowałeś /panel/ tylko w grupie „*”, a dla OAI-SearchBot napisałeś osobno samo „Allow: /”, to bot ChatGPT może wejść do /panel/. Prywatne ścieżki trzeba powtórzyć w każdej grupie.
Nie tylko robots.txt: zapora i CDN
Nawet idealny robots.txt nie pomoże, jeśli boty zatrzyma zapora. Usługi takie jak Cloudflare mają osobne ustawienia dla botów AI, a hosting może blokować nieznany ruch automatycznie. Jeśli korzystasz z takiej usługi, sprawdź w jej panelu ustawienia dotyczące botów i upewnij się, że boty AI nie są blokowane.
Jak sprawdzić, czy wszystko działa
- Otwórz w przeglądarce twojadomena.pl/robots.txt i przeczytaj, co tam jest. Szukaj słów „Disallow: /” przy botach z pierwszej tabeli.
- Sprawdź stronę w naszym darmowym audycie — pokaże, które boty AI mają dostęp, a które są zablokowane.
- Jeśli masz dostęp do logów serwera, poszukaj w nich nazw botów z tabel. Brak wejść przez kilka tygodni to sygnał, że coś je zatrzymuje.
Najczęstsze błędy
- „Disallow: /” dla wszystkich botów AI naraz — razem z treningowymi wylatują wyszukujące.
- Blokada w zaporze, o której nikt nie wie — robots.txt wygląda dobrze, a boty i tak dostają odmowę.
- Google-Extended zablokowany „bo to trening” — a firma chce być widoczna w Gemini.
- **Prywatne ścieżki tylko w grupie „*”** — boty z własną grupą je ignorują.
- Kopiowanie list botów z sieci bez sprawdzenia — nazwy botów się zmieniają, a część krążących nazw (np. dla Groka) nie jest oficjalna.
Dostęp dla botów to dopiero fundament. Co zrobić dalej, żeby AI faktycznie polecało Twoją firmę, opisujemy w przewodniku jak być widocznym w ChatGPT i innych AI.