AI boti na webu: 20 crawlerů, odkud jsou a co vám berou

Na běžný web dnes chodí víc botů než lidí. Část z nich jsou AI crawleři, kteří stahují obsah pro trénování jazykových modelů, pro AI vyhledávání nebo proto, že se na vaši stránku právě někdo zeptal v ChatGPT.

V článku najdete přehled 20 nejčastějších AI botů: kdo je provozuje, odkud jsou, proč k vám chodí, co vám dávají a co berou. A na konci návod, jak zjistit, kdo u vás chodí, a jak s tím naložit.

Ve zkratce:

Boti tvoří většinu provozu: Lidi překonali poprvé v roce 2024 (51 %). Loni už to bylo 53 %. Cloudflare letos v červnu naměřil 57,5 %. Legitimní AI boti z toho tvoří zhruba 2 % všech relací.
AI boti nejsou jedna skupina: Trénovací vytěžují data a nevracejí nic, vyhledávací vás citují a odkazují, uživatelské posílá konkrétní člověk. V červenci 2026 připadalo na vyhledávací a uživatelské boty 14,5 % provozu AI botů, zbytek šel na trénování.
Co za to dostanete, se liší řádově: Google pošle jednu návštěvu za 4,8 stažené stránky, OpenAI za 245, Anthropic zhruba za 1 700 (Cloudflare Radar).
Co s tím: Podívejte se do logu, v robots.txt zakažte trénovací crawlery, nastavte rate limit na dynamické požadavky a na drzé boty použijte firewall.

Ve tři ráno server vytížený na 90 %

Monitoring se ozval ve tři ráno. Procesor na 90 %, e‑shop se táhl. Přitom žádná kampaň, žádné slevy, obyčejná středa.

V logu byl jediný návštěvník. Za hodinu si vyžádal 40 000 stránek. Všechny produkty, všechny kombinace filtrů, pěkně popořadě. User‑agent: Bytespider.

Bytespider patří ByteDance, tedy firmě, která stojí za TikTokem. Nic si neobjednal, nezaregistroval se, nic nekoupil. Jen si stahoval katalog, aby měl čím krmit vlastní jazykový model. Serveru je ale jedno, jestli požadavek přišel od zákazníka, nebo od robota. Zaplatíte ho stejně.

A takových návštěv přibývá. Boti přetlačili lidi poprvé v roce 2024, kdy jim připadlo 51 % veškerého provozu na webu. Loni už to bylo 53 %. Cloudflare, přes jehož síť teče zhruba pětina internetu, došel letos v červnu k podobnému závěru.

Většina z nich přitom nejde po vašem obsahu kvůli konkrétní otázce. Sbírají do zásoby. Projedou web od začátku do konce a uloží si ho na později. Jen menší část botů přijde pro jednu stránku ve chvíli, kdy ji někdo potřebuje v odpovědi.

A tempo roste. Objem požadavků od AI agentů přes léto výrazně vyskočil, lidské návštěvnosti přibylo řádově méně.

Tři druhy AI botů a proč na rozdílu záleží

Všichni boti se tváří stejně: požadavek jako každý jiný, zátěž jako každá jiná. Liší se tím, co s vaším obsahem udělají potom.

Trénovací crawleři stahují co největší kus webu, aby z něj firma natrénovala model. Chodí ve velkém a berou i stránky, které nikdo nehledá – archiv z roku 2019, filtr „modrá, velikost XL, do 500 Kč“. Zpátky nepošlou prakticky nikoho. Poznáte je podle GPTBot, ClaudeBot, Meta‑ExternalAgent nebo Bytespider.

Vyhledávací crawleři staví index pro AI vyhledávání. Z něj pak asistent cituje a odkazuje. Tady platíte provozem za viditelnost, když je zablokujete, zmizíte z odpovědí. Sem patří OAI‑SearchBot, Claude‑SearchBot nebo PerplexityBot.

Uživatelští boti přijdou pro jednu konkrétní stránku ve chvíli, kdy se na ni někdo v asistentovi zeptá nebo mu vloží odkaz do chatu. Provozu nadělají minimum, ale za každým takovým požadavkem stojí živý člověk, který zrovna teď hledá něco vašeho. Chodí jako ChatGPT‑User, Claude‑User nebo Perplexity‑User.

Poměr sil se posouvá, ale pomalu. Letos v lednu připadalo na vyhledávání a uživatelské dotazy 9,1 % provozu AI botů, v červenci už 14,5 %. Zbytek pořád jde na trénování. Dobrá zpráva je, že AI firmy čím dál častěji chodí pro čerstvý obsah, ne jen sbírat data do zásoby.

Proto se to nedá vyřešit jedním řádkem v robots.txt. Plošné Disallow vypne i ty boty, kvůli kterým vás lidi najdou.

Matyáš Vaneš, programátor a sysadmin z Váš Hosting, to vidí na serverech zákazníků:

Když se někdo ozve, že má najednou vysoké vytížení a nic nezměnil, první, co otevřeme, je složení provozu. Ve většině těch případů je za tím jeden nebo dva crawleři, kteří jdou po celém webu najednou. Lidé si představují, že AI boti chodí na hlavní stránku. Ne, chodí na stranu 347 výpisu produktů.

20 botů, které najdete v logu

Podíly jsou z dat Cloudflare Radar za červenec 2026 a znamenají podíl na požadavcích identifikovaných AI botů, ne na celém provozu webu. Pořadí se každý měsíc přeskupuje, řádově to ale platí. Země znamená sídlo provozovatele.

Bot (user-agent)	Kdo a odkud	Proč chodí	Vliv na web	Co s ním
Googlebot	Google, USA	Index vyhledávání, ze kterého čerpají i Přehledy od AI a AI Mode. Google nemá pro AI odpovědi zvláštního bota.	24,6 % provozu AI botů. Za 4,8 stažené stránky pošle 1 návštěvu, žádný jiný bot se tomu neblíží.	Nikdy neblokovat, jinak zmizíte z Googlu i z jeho AI odpovědí.
Google-Extended	Google, USA	Není to bot, ale jen jméno v robots.txt. Zákaz Google-Extended zakáže použití obsahu pro trénování modelů Gemini.	Na pozice ani na citace v Přehledech od AI nemá vliv.	Pokud nechcete krmit trénink Gemini, zakažte ho. Vyhledávání to nezasáhne.
Bingbot	Microsoft, USA	Index Bingu, ze kterého bere odpovědi Copilot a částečně i vyhledávání v ChatGPT.	9,0 %. Poměr 37 stránek na 1 návštěvu.	Nechat. Blokace vás vyřadí z Bingu i Copilotu.
SeznamBot	Seznam.cz, Česko	Index Seznamu. Od května 2026 z něj čerpá i Seznam Asistent, postavený na českém modelu SeLLMa.	Pro český web klíčový. Zdvořilý crawler, ctí robots.txt a Crawl-delay.	Nechat.
GPTBot	OpenAI, USA	Trénování modelů GPT.	9,8 %. Nejčastěji blokovaný AI bot na světě, je v 5,5 % všech zákazů v robots.txt (TechnologyChecker). OpenAI jako celek: 245 stažených stránek na 1 návštěvu.	Obchodní rozhodnutí. Ctí robots.txt, zveřejňuje IP adresy k ověření.
OAI-SearchBot	OpenAI, USA	Index pro vyhledávání v ChatGPT. Z něj vznikají citace a odkazy v odpovědích.	Malý objem, vysoká hodnota: tudy k vám chodí návštěvy z ChatGPT.	Nechat, pokud chcete být v ChatGPT vidět.
ChatGPT-User	OpenAI, USA	Přijde pro konkrétní stránku, když ji uživatel ChatGPT potřebuje v konverzaci nebo ji vloží do chatu. Používá ho i agentní režim.	Za každým požadavkem je živý člověk.	Nechat.
ClaudeBot	Anthropic, USA	Trénování modelů Claude.	15,6 %, v červnu 2026 rekordních 20 %. Anthropic jako celek: zhruba 1 700 stažených stránek na 1 návštěvu, o měsíc dřív skoro 3 000.	Obchodní rozhodnutí. Ctí robots.txt i Crawl-delay, zveřejňuje IP adresy.
Claude-SearchBot	Anthropic, USA	Index pro vyhledávání v Claude.	3,6 %, roste.	Nechat, pokud chcete být citovaní v Claude.
Claude-User	Anthropic, USA	Stáhne stránku, když ji uživatel Claude potřebuje. Tímto jménem se hlásí i Claude Code, když čte dokumentaci.	Malý objem, reálný zájem.	Nechat.
Meta-ExternalAgent	Meta, USA	Trénování modelů Llama a data pro Meta AI.	12,9 %, meziměsíčně +27 %. Nezveřejňuje seznam IP adres, takže se hůř ověřuje.	Obchodní rozhodnutí, spíš zakázat. Pro návštěvnost z Facebooku a Instagramu nemá význam, ta jde přes facebookexternalhit.
Meta-ExternalFetcher	Meta, USA	Stáhne stránku na žádost uživatele Meta AI (třeba odkaz poslaný ve WhatsAppu).	Malý objem. Podle dokumentace Meta může u uživatelských požadavků robots.txt obejít.	Nechat. Jde o uživatelské požadavky v malém objemu, za každým je konkrétní člověk.
Applebot	Apple, USA	Siri, Spotlight a návrhy v Safari. Trénování Apple Intelligence se ovládá zvlášť jménem Applebot-Extended.	6,7 %.	Applebot nechat. Applebot-Extended zakázat, pokud nechcete krmit trénink Apple.
Amazonbot	Amazon, USA	Odpovědi Alexy a AI funkce Amazonu.	6,1 %. Pro český web bez prodeje na Amazonu prakticky bez přínosu.	Zakázat, pokud nemáte důvod ho nechat.
Bytespider	ByteDance, Čína	Trénování modelů ByteDance (TikTok, Doubao).	4,7 %, v červnu 7,3 %, v květnu 10,3 %. Opakovaně hlášený jako nejagresivnější crawler: desítky požadavků za sekundu, často nerespektuje robots.txt (LumenGEO, 2026).	Zakázat v robots.txt a navíc na úrovni serveru nebo firewallu, protože zákaz v souboru mu nestačí.
PerplexityBot	Perplexity, USA	Index AI vyhledávače Perplexity.	Perplexity jako celek: 322 stránek na 1 návštěvu, poměr se zhoršuje. Respektování robots.txt je u Perplexity sporné, opakovaně se objevují zprávy o skrytých crawlerech s cizím user-agentem (LumenGEO, 2026).	Nechat, pokud chcete být v Perplexity. Počítat s tím, že zákaz nemusí být respektovaný.
Perplexity-User	Perplexity, USA	Stáhne stránku na dotaz uživatele.	Malý objem. Podle dokumentace Perplexity u uživatelských požadavků robots.txt neuplatňuje.	Nechat.
CCBot	Common Crawl, nezisková organizace, USA	Otevřený archiv webu, ze kterého trénuje řada AI firem najednou.	Druhý nejčastěji blokovaný bot (5,1 % zákazů). Jeden zákaz = obsah nedostane víc firem naráz.	Zakázat, pokud nechcete obsah v trénovacích datech. Ctí robots.txt.
MistralAI-User	Mistral AI, Francie	Stáhne stránku pro asistenta Le Chat.	Mistral jako celek stahuje desítky tisíc stránek na jednu návštěvu, v některých měsících nevrátí prakticky nic.	Nechat, objem je malý. Sledovat.
DuckAssistBot	DuckDuckGo, USA	AI odpovědi ve vyhledávači DuckDuckGo.	2,5 stažené stránky na 1 návštěvu, nejférovější AI bot.	Nechat.

V logu potkáte i další jména: PetalBot (Huawei, Čína, vyhledávač Petal a trénink), YouBot (You.com, USA), cohere-ai (Cohere, Kanada), Diffbot, YandexBot (Rusko, 28 stránek na návštěvu) nebo Baiduspider (Čína, 12 stránek na návštěvu).

A pak boty, které se za AI jen vydávají: user-agent si může napsat kdokoli. Proto se u důležitých rozhodnutí vyplatí ověřit IP adresu proti oficiálnímu seznamu provozovatele, který OpenAI, Anthropic, Google i Perplexity zveřejňují.

VPS Centrum

Vyzkoušejte zdarma naši aplikaci pro správu serveru a domén. Budete si připadat jako zkušený administrátor.

Co vám boti berou a co vracejí

Nejlepší jednoduché měřítko se jmenuje crawl‑to‑refer. Říká, kolik stránek si bot stáhne za jednoho návštěvníka, kterého vám pošle zpátky.

Google si vezme necelých pět stránek za jednu návštěvu. To je zhruba směna, kterou většina webů podepsala už před dvaceti lety. Microsoft je na 37 stránkách. OpenAI na 245. Anthropic zhruba na 1 700. Mistral vám neposílá prakticky nikoho.

U trénovacích crawlerů to ani jinak nejde – neexistuje žádné místo, kde by na vás odkázali. U OpenAI a Anthropicu se ale poměr od jara zlepšuje měsíc po měsíci, protože asistenti začali častěji citovat zdroje.

Na druhé misce vah je zátěž serveru. A tam boti bolí jinak než lidi. Návštěvníci chodí pořád dokola na stejných deset stránek, takže cache odvede většinu práce. Crawler chce všechno, i to, co nikdo neotevřel roky. Cache je mu k ničemu.

Když v roce 2024 AI crawlery zablokovala, objem stahovaných dat jí spadl z 800 na 200 gigabajtů denně. Tři čtvrtiny provozu tedy nešly lidem.

Menší web to sice takhle nepocítí, ale princip je stejný: nárazové vytížení procesoru, pomalejší odezva pro skutečné návštěvníky a u tarifů s limitem přenesených dat i vyšší účet.

Hostingové firmy na to reagují každá po svém. Někde blokují trénovací crawlery přímo na serveru a uživatelské boty pouštějí dál. Jinde jim na sdíleném hostingu vracejí kód 429, tedy „příliš mnoho požadavků“. Další dávají blokaci známých crawlerů na jedno kliknutí do administrace. Cloudflare zkouší i model „pay per crawl“, kde AI firma za přístup k obsahu platí.

Plošně blokovat za zákazníky nechceme, protože nevíme, čím který web žije. Co děláme, je ukázat jim data a nechat rozhodnutí na nich. E-shop, který prodává přes doporučení z ChatGPT, potřebuje úplně jiné nastavení než magazín, který žije z reklamy.
Matyáš Vaneš, programátor a sysadmin, Váš Hosting

Freelo - Nástroj na řízení úkolů a projektů

Přidej se, pozvi svůj tým a klienty, rozděl práci a sleduj, jak se úkoly dají do pohybu.

Jak zjistit, kdo chodí právě k vám

Bez dat se rozhoduje špatně, a data máte v logu serveru. Pokud máte VPS, stačí access log webserveru seskupit podle user-agenta za poslední měsíc. Ve VPS Centru je to bez terminálu: v sekci Analytika u každé domény vidíte návštěvy lidí, běžných botů a AI botů zvlášť, včetně jmen konkrétních AI botů a jejich provozovatele. Jednou měsíčně přijde e-mailem souhrn se složením provozu a meziměsíční změnou.

Informační panel webové analytiky se souhrnnými statistikami návštěvnosti a grafem vývoje za uplynulých 30 dní

Na co se dívat: kteří AI boti chodí a kolik požadavků dělají, jestli mezi nimi jsou vyhledávací a uživatelští boti (dobrá zpráva, AI vás cituje), a jestli některý trénovací crawler dělá nepoměrně velký objem (kandidát na omezení).

Co s tím: tři úrovně

1. robots.txt: říct, co nechcete

Soubor robots.txt je žádost, ne zámek. Seriózní provozovatelé (Google, OpenAI, Anthropic, Apple, Common Crawl, Seznam) ho respektují, Bytespider a část dalších ne. Rozumný výchozí stav pro firemní web nebo e-shop, který chce být v AI vyhledávání vidět, ale nechce krmit trénink:

# Vyhledávání a uživatelské dotazy: povolit (výchozí stav, nic nepsat)
# Trénování modelů: zakázat

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Amazonbot
User-agent: Bytespider
Disallow: /

Pozor na dvě věci. Zákaz GPTBot nebo ClaudeBot znamená, že obsah nebude v příštích verzích modelů, což může být přesně to, co chcete, nebo naopak ne (model, který o vás nic neví, vás nedoporučí ani z paměti). A zákaz Google-Extended se netýká Přehledů od AI, ty jedou z běžného Googlebota.

2. Omezení rychlosti: zpomalit, ne zakázat

Pro boty, které chcete nechat, ale ne za cenu vytíženého serveru, se hodí limit požadavků na IP adresu. V Nginx to zařídí direktivy limit_req_zone a limit_req, v Apache moduly mod_evasive nebo mod_qos.

Limit nastavte jen na dynamické požadavky, tedy PHP, vyhledávání a filtry, ne na obrázky, CSS a skripty. Jedno načtení stránky jich vygeneruje desítky a běžný návštěvník by na limit narazil dřív než crawler. Rozumný start je 5 až 10 požadavků za sekundu na IP adresu s krátkým nárazníkem (burst), aby se legitimní špička jen zpomalila místo odmítnutí.

Počítejte s tím, že za jednou IP adresou může sedět celá firemní síť nebo mobilní operátor, a že velký crawler chodí z desítek adres, takže limit na IP ho sám nezastaví. Pokud web běží za Cloudflare nebo jinou proxy, nastavte real_ip, jinak limitujete proxy a ne návštěvníky.

Někteří boti (ClaudeBot, SeznamBot) navíc ctí direktivu Crawl-delay v robots.txt. Googlebot ji ignoruje.

Rate limit je to, co bych nastavil jako první, ještě před robots.txt.
Matyáš Vaneš, programátor a sysadmin.

…a dodává:

Slušný bot se zpomalí a stáhne si všechno v klidu, drzý narazí a odejde jinam.

3. Firewall: zastavit ty, co neposlouchají

Bytespider a boti bez user-agenta nebo s falešným user-agentem se řeší až na úrovni firewallu nebo WAF: blokace podle rozsahu IP adres, podle chování (stovky požadavků za minutu z jedné adresy) nebo přes službu, která ověřené boty pozná. Pro většinu českých webů je jednodušší kombinace: robots.txt pro slušné, rate limit pro hltavé, firewall pro drzé.

Často kladené otázky

Mám zakázat všechny AI boty, ať mi neberou obsah?

Když zakážete i vyhledávací a uživatelské boty (OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User), zmizíte z odpovědí, kde dnes lidé hledají doporučení. Pro web, který prodává, je to ztráta. Zakazujte trénovací crawlery, vyhledávací nechte.

Jak poznám falešného Googlebota?

Ověřte IP adresu, ne jméno. Udělejte zpětný DNS dotaz na IP adresu, ze které bot chodí. U pravého Googlebota se překládá na doménu googlebot.com nebo google.com. Pak výsledný hostname přeložte zpátky na IP adresu. Musí vyjít ta stejná. Bez tohoto druhého kroku to není důkaz, protože PTR záznam si může nastavit kdokoli.

Druhá cesta je porovnat IP adresu proti oficiálním seznamům rozsahů ve formátu JSON. Zveřejňuje je Google (googlebot.json), OpenAI, Anthropic i Perplexity. Bot, který tvrdí, že je GPTBot, ale chodí odjinud, je někdo jiný.

Zpomalují AI boti web pro lidi?

Můžou. Trénovací crawleři chodí na stránky, které nejsou v cache, takže každý požadavek jde na aplikaci a databázi. Na sdíleném hostingu se o výkon dělíte, na VPS máte vlastní procesor a paměť a můžete botům nastavit limit.

Platí robots.txt hned?

Slušní boti si ho stahují opakovaně, změna se projeví během hodin až dnů. Stránky, které už mají stažené, ale nezmizí, zákaz platí dopředu.

Závěrem

AI boti nejsou jedna skupina. Trénovací crawleři berou hodně a nevracejí nic, vyhledávací a uživatelští boti chodí málo a přinášejí lidi, kteří se o vás zajímají. Rozhodnutí, koho pustit, začíná v logu, ne v článku. Podívejte se, kdo u vás za poslední měsíc byl, a podle toho nastavte robots.txt, limit rychlosti a firewall.

Na VPS od Váš Hosting vidíte ve VPS Centru v Analytice lidi, boty a AI boty zvlášť, včetně jmen botů, a limity i firewall si nastavíte bez terminálu. Vyzkoušejte si server na 7 dní zdarma.

Zdroje: