Preskočiť na obsah

robots.txt pre AI crawlery: čo blokovať a čo povoliť v roku 2026

Vladimír Donič· 20. 4. 2026 · 6 min čítania

TL;DR

Váš robots.txt môže byť dôvod, prečo vás ChatGPT, Gemini a Perplexity nevidí. 34 % slovenských e-shopov má AI crawlery zablokované — buď zámerne (mylnou snahou ochrany pred scrapingom) alebo omylom (staré šablóny robotov z éry pred ChatGPT). Tento článok obsahuje kompletný zoznam AI crawlerov a hotový robots.txt template, ktorý môžete použiť priamo.


Prečo je robots.txt kľúčový pre AI viditeľnosť

Súbor robots.txt na adrese vaseshop.sk/robots.txt hovorí webovým crawlerom, ktoré časti webu smú indexovať. Pôvodne bol určený pre Google, Bing a iné klasické vyhľadávače. Od roku 2023 do toho vstúpili AI crawlery — GPTBot a OAI-SearchBot (OpenAI), ClaudeBot a Claude-SearchBot (Anthropic), PerplexityBot (Perplexity) a ďalší. K nim pribudli aj tokeny Google-Extended (Google) a Applebot-Extended (Apple) — tie nie sú crawlery, len pravidlá v robots.txt (vysvetlenie nižšie).

Ak váš robots.txt blokuje vyhľadávacie AI crawlery (OAI-SearchBot, Claude-SearchBot, PerplexityBot), výsledok je jednoznačný: AI vyhľadávač o vás nevie a nemôže vás odporučiť. Nezobrazíte sa v ChatGPT Search, Perplexity ani vo vyhľadávaní v Claude — bez ohľadu na to, ako dobrý obsah alebo schema.org markup máte. Tréningové crawlery (GPTBot, ClaudeBot) sú iná vec: rozhodujú, či sa váš obsah smie použiť na trénovanie modelov, nie či vás AI vyhľadávanie nájde.

Kompletný zoznam AI crawlerov v roku 2026

CrawlerAI platformaZablokovanie znamená
OAI-SearchBotChatGPT Search (OpenAI)Neviditeľnosť vo vyhľadávaní ChatGPT
GPTBotTréning modelov OpenAIObsah sa nepoužije na tréning; ChatGPT Search to neovplyvní
Google-Extended (token, nie bot)Gemini Apps a Vertex AI (tréning a grounding)Google nesmie váš obsah použiť pre Gemini; Google Search ani AI Overviews to neovplyvní
PerplexityBotPerplexity.aiNeviditeľnosť v Perplexity
Claude-SearchBotVyhľadávanie v Claude (Anthropic)Neviditeľnosť vo vyhľadávaní Claude
ClaudeBotTréning modelov Claude (Anthropic)Obsah sa nepoužije na tréning; vyhľadávanie v Claude to neovplyvní
cohere-aiCohere (Command model)B2B AI nástroje
DiffbotDiffbot knowledge graphNepriamy dopad na AI znalosti
FacebookBotMeta AI (Llama)Meta AI odporúčania
Twitterbot(legacy, teraz X.ai)Minimálny dopad
ia_archiverInternet Archive (Wayback Machine)Historické záznamy, nie AI priamo

Pre rok 2026 sú pre viditeľnosť kritické vyhľadávacie boty OAI-SearchBot a PerplexityBot; Claude-SearchBot a FacebookBot rastú, ale zatiaľ s menším dosahom na e-commerce. Okrem nich existujú boty konajúce na pokyn používateľa (ChatGPT-User, Claude-User, Perplexity-User) — načítajú stránku, keď si ju používateľ v chate vyžiada, a niektoré z nich robots.txt nemusia dodržiavať. Zdroje: OpenAI Bots, Anthropic: crawlery.

Google-Extended a Applebot-Extended nie sú crawlery. Nemajú vlastný User-Agent, v access logoch ich neuvidíte. Web sťahuje Googlebot, resp. Applebot; token len určuje, na čo smie firma už stiahnutý obsah použiť. Google-Extended riadi použitie pre Gemini Apps a Vertex AI (tréning a grounding). Nemá vplyv na Google Search ani na AI Overviews a AI Mode — tie riadi Googlebot a pravidlá nosnippet, max-snippet či noindex. Applebot-Extended sa týka len tréningu modelov Apple. Zdroje: Google Common Crawlers, Apple Applebot.

Ako skontrolovať váš aktuálny robots.txt

  1. Otvorte prehliadač a choďte na https://vaseshop.sk/robots.txt
  2. Hľadajte sekcie začínajúce User-agent: OAI-SearchBot, User-agent: GPTBot, User-agent: PerplexityBot (a prípadne pravidlo User-agent: Google-Extended)
  3. Ak tieto sekcie chýbajú — AI crawlery majú prístup (predvolené správanie, dobré)
  4. Ak nájdete Disallow: / pod OAI-SearchBot, Claude-SearchBot alebo PerplexityBot — ste pre daný AI vyhľadávač zablokovaní. Disallow: / pod GPTBot alebo ClaudeBot zakazuje len tréning modelov, nie vyhľadávanie. Disallow: / pod Google-Extended vypína len použitie obsahu pre Gemini, nie indexovanie.

Príklad problematického robots.txt:

# ❌ Toto blokuje ChatGPT Search (OpenAI):
User-agent: OAI-SearchBot
Disallow: /

# ⚠️ Toto zakazuje tréning modelov OpenAI (ChatGPT Search ostáva nedotknutý):
User-agent: GPTBot
Disallow: /

# ⚠️ Toto zakazuje použitie obsahu pre Gemini Apps a Vertex AI
# (Google Search a AI Overviews ostávajú nedotknuté):
User-agent: Google-Extended
Disallow: /

# ❌ Toto blokuje Perplexity:
User-agent: PerplexityBot
Disallow: /

Odporúčaný robots.txt pre slovenský e-shop

Toto je template, ktorý odporúčame pre e-shopy, ktoré chcú maximálnu AI viditeľnosť:

# ===========================================
# robots.txt — VášEshop.sk
# Aktualizované: apríl 2026
# ===========================================

# --- Klasické vyhľadávače ---
User-agent: Googlebot
Allow: /
Disallow: /admin/
Disallow: /checkout/
Disallow: /cart/
Disallow: /account/
Disallow: /search?

User-agent: Bingbot
Allow: /
Disallow: /admin/
Disallow: /checkout/
Disallow: /cart/
Disallow: /account/

# --- AI crawlery — POVOLENÉ ---
# OpenAI: OAI-SearchBot = ChatGPT Search (kľúčový pre viditeľnosť),
# GPTBot = tréning modelov (voliteľné povolenie)
User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Allow: /

# token, nie crawler – len Gemini
User-agent: Google-Extended
Allow: /

User-agent: PerplexityBot
Allow: /

# Anthropic: Claude-SearchBot = vyhľadávanie v Claude (kľúčový pre viditeľnosť),
# ClaudeBot = tréning modelov (voliteľné povolenie)
User-agent: Claude-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: Diffbot
Allow: /

User-agent: FacebookBot
Allow: /

# --- Neznáme / škodlivé crawlery ---
# (pridajte ak zaznamenávate nadmerné zaťaženie servera)
# User-agent: SemrushBot
# Crawl-delay: 10

# User-agent: AhrefsBot
# Crawl-delay: 10

# --- Sitemap ---
Sitemap: https://www.vaseshop.sk/sitemap.xml
Sitemap: https://www.vaseshop.sk/sitemap-products.xml
Sitemap: https://www.vaseshop.sk/sitemap-categories.xml

Čo blokovať — aj keď povolíte AI crawlery

Aj s otvoreným prístupom pre AI crawlery by ste mali blokovať tieto sekcie (platí pre všetky crawlery vrátane AI):

Disallow: /admin/          # Administračné rozhranie
Disallow: /checkout/       # Platobný proces
Disallow: /cart/           # Košík — dynamický obsah bez hodnoty
Disallow: /account/        # Zákaznícke konto
Disallow: /search?         # Vyhľadávacie výsledky (duplikátny obsah)
Disallow: /compare/        # Porovnávač produktov (dynamické URL)
Disallow: /wishlist/       # Zoznamy želaní
Disallow: /*.pdf$          # Interné PDF dokumenty (ak ich nechcete indexovať)

Granulárne riadenie AI crawlerov

Nechcete AI crawlery pustiť na celý web, ale len na produktové stránky? Toto je možné:

# OAI-SearchBot (ChatGPT Search) má prístup len na produkty, kategórie a blog:
User-agent: OAI-SearchBot
Allow: /products/
Allow: /categories/
Allow: /blog/
Disallow: /

Táto konfigurácia povolí ChatGPT Search indexovať produkty a blog, ale nie napríklad FAQ stránky zamestnancov alebo interné dokumenty.

Mýtus: blokovanie AI crawlerov chráni obsah pred scrapingom

Najčastejší dôvod, prečo e-shopy blokujú AI crawlery: strach, že AI „ukradne" obsah a bude ho používať na trénovanie modelov.

Pravda je komplikovanejšia:

  1. AI tréning vs. AI search sú rôzne veci. GPTBot (OpenAI) a ClaudeBot (Anthropic) zbierajú obsah na tréning modelov. ChatGPT Search používa samostatný OAI-SearchBot a vyhľadávanie v Claude Claude-SearchBot. Tréningové boty môžete zablokovať bez straty viditeľnosti vo vyhľadávaní.

  2. Tréning sa dá vypnúť priamo v robots.txt. Disallow: / pre GPTBot a ClaudeBot zakáže použitie obsahu na tréning, kým OAI-SearchBot a Claude-SearchBot ostanú povolené. Výsledok: ste vo vyhľadávaní, ale nie v tréningových dátach.

  3. Blokovanie vás poškodí viac ako scraping. Ak blokujete OAI-SearchBot, ChatGPT Search vás nebude odporúčať zákazníkom. To je oveľa väčšia obchodná škoda ako hypotetické použitie vášho obsahu v tréningu.

Po zmene robots.txt — čo ďalej

Po úprave robots.txt:

  1. Počkajte 1–2 týždne — AI crawlery potrebujú čas na opätovné navštívenie webu
  2. Skontrolujte Google Search Console — sekcia „Crawl stats" ukáže, či Googlebot pravidelne navštevuje váš web (Google-Extended tam neuvidíte, nie je to bot)
  3. Sledujte AI viditeľnosť — cez Pozorio AI uvidíte, či sa vaša viditeľnosť v ChatGPT a Gemini po zmene zlepšila

Záver

robots.txt je päťminútová oprava, ktorá môže výrazne zmeniť vašu AI viditeľnosť. Skontrolujte ho teraz — je na vaseshop.sk/robots.txt. Ak tam nájdete zablokovaný OAI-SearchBot, Claude-SearchBot alebo PerplexityBot, opravte to ešte dnes; pri Google-Extended sa rozhodnite, či chcete, aby Gemini smelo váš obsah používať.

Chcete vedieť, či vás ChatGPT a Gemini vôbec vidia? Bezplatný audit na pozorio.sk to zistí za 60 sekúnd.

Spomína AI váš e-shop?Bezplatný audit to ukáže približne za minútu.Spustiť audit