AI crawlery (GPTBot, ClaudeBot, PerplexityBot)
Roboty AI firiem, ktoré sťahujú obsah webov pre tréning modelov a pre odpovede s webovým vyhľadávaním.
AI crawlery sú roboty, ktorými AI spoločnosti sťahujú webový obsah. Pre viditeľnosť v AI odpovediach sú kľúčové — ak ich zablokujete, AI váš obsah nevidí a nemôže vás citovať.
Najdôležitejšie AI crawlery:
- GPTBot (OpenAI) — tréning modelov GPT
- OAI-SearchBot (OpenAI) — ChatGPT Search odpovede
- ClaudeBot (Anthropic) — tréning modelov Claude
- PerplexityBot (Perplexity) — index pre Perplexity odpovede
- Bytespider, Amazonbot, cohere-ai a ďalšie
Tokeny bez vlastného bota: Google-Extended (Google) a Applebot-Extended (Apple) nie sú crawlery a v User-Agent hlavičke sa nikdy neobjavia — sú to len tokeny pre pravidlá v robots.txt. Web sťahuje Googlebot, resp. Applebot; token rozhoduje iba o tom, či smie firma obsah použiť na tréning svojich AI modelov (pri Google aj na grounding v Gemini). Google Search ani AI Overviews neovplyvní — tie riadi Googlebot.
Ako ich riadiť: cez robots.txt — každý crawler má vlastný token pre riadok User-agent. Častá chyba SK/CZ e-shopov: plošné pravidlo Disallow, ktoré nechtiac blokuje aj AI crawlery, alebo hosting/CDN firewall, ktorý ich odmieta na sieťovej úrovni (robots.txt potom vôbec nerozhoduje).
Odporúčanie pre e-shopy: AI crawlery povoliť — obchodný prínos viditeľnosti v AI odpovediach pre e-commerce výrazne prevyšuje riziká. Či máte crawlery správne povolené, skontroluje náš bezplatný validátor.