Preskočiť na obsah

AI crawlery (GPTBot, ClaudeBot, PerplexityBot)

Roboty AI firiem, ktoré sťahujú obsah webov pre tréning modelov a pre odpovede s webovým vyhľadávaním.

AI crawlery sú roboty, ktorými AI spoločnosti sťahujú webový obsah. Pre viditeľnosť v AI odpovediach sú kľúčové — ak ich zablokujete, AI váš obsah nevidí a nemôže vás citovať.

Najdôležitejšie AI crawlery:

  • GPTBot (OpenAI) — tréning modelov GPT
  • OAI-SearchBot (OpenAI) — ChatGPT Search odpovede
  • ClaudeBot (Anthropic) — tréning modelov Claude
  • PerplexityBot (Perplexity) — index pre Perplexity odpovede
  • Bytespider, Amazonbot, cohere-ai a ďalšie

Tokeny bez vlastného bota: Google-Extended (Google) a Applebot-Extended (Apple) nie sú crawlery a v User-Agent hlavičke sa nikdy neobjavia — sú to len tokeny pre pravidlá v robots.txt. Web sťahuje Googlebot, resp. Applebot; token rozhoduje iba o tom, či smie firma obsah použiť na tréning svojich AI modelov (pri Google aj na grounding v Gemini). Google Search ani AI Overviews neovplyvní — tie riadi Googlebot.

Ako ich riadiť: cez robots.txt — každý crawler má vlastný token pre riadok User-agent. Častá chyba SK/CZ e-shopov: plošné pravidlo Disallow, ktoré nechtiac blokuje aj AI crawlery, alebo hosting/CDN firewall, ktorý ich odmieta na sieťovej úrovni (robots.txt potom vôbec nerozhoduje).

Odporúčanie pre e-shopy: AI crawlery povoliť — obchodný prínos viditeľnosti v AI odpovediach pre e-commerce výrazne prevyšuje riziká. Či máte crawlery správne povolené, skontroluje náš bezplatný validátor.

Spomína AI váš e-shop?Bezplatný audit to ukáže približne za minútu.Spustiť audit