robots.txt pre AI crawlery: čo blokovať a čo povoliť v roku 2026
TL;DR
Váš robots.txt môže byť dôvod, prečo vás ChatGPT, Gemini a Perplexity nevidí. 34 % slovenských e-shopov má AI crawlery zablokované — buď zámerne (mylnou snahou ochrany pred scrapingom) alebo omylom (staré šablóny robotov z éry pred ChatGPT). Tento článok obsahuje kompletný zoznam AI crawlerov a hotový robots.txt template, ktorý môžete použiť priamo.
Prečo je robots.txt kľúčový pre AI viditeľnosť
Súbor robots.txt na adrese vaseshop.sk/robots.txt hovorí webovým crawlerom, ktoré časti webu smú indexovať. Pôvodne bol určený pre Google, Bing a iné klasické vyhľadávače. Od roku 2023 do toho vstúpili AI crawlery — GPTBot a OAI-SearchBot (OpenAI), ClaudeBot a Claude-SearchBot (Anthropic), PerplexityBot (Perplexity) a ďalší. K nim pribudli aj tokeny Google-Extended (Google) a Applebot-Extended (Apple) — tie nie sú crawlery, len pravidlá v robots.txt (vysvetlenie nižšie).
Ak váš robots.txt blokuje vyhľadávacie AI crawlery (OAI-SearchBot, Claude-SearchBot, PerplexityBot), výsledok je jednoznačný: AI vyhľadávač o vás nevie a nemôže vás odporučiť. Nezobrazíte sa v ChatGPT Search, Perplexity ani vo vyhľadávaní v Claude — bez ohľadu na to, ako dobrý obsah alebo schema.org markup máte. Tréningové crawlery (GPTBot, ClaudeBot) sú iná vec: rozhodujú, či sa váš obsah smie použiť na trénovanie modelov, nie či vás AI vyhľadávanie nájde.
Kompletný zoznam AI crawlerov v roku 2026
| Crawler | AI platforma | Zablokovanie znamená |
|---|---|---|
OAI-SearchBot | ChatGPT Search (OpenAI) | Neviditeľnosť vo vyhľadávaní ChatGPT |
GPTBot | Tréning modelov OpenAI | Obsah sa nepoužije na tréning; ChatGPT Search to neovplyvní |
Google-Extended (token, nie bot) | Gemini Apps a Vertex AI (tréning a grounding) | Google nesmie váš obsah použiť pre Gemini; Google Search ani AI Overviews to neovplyvní |
PerplexityBot | Perplexity.ai | Neviditeľnosť v Perplexity |
Claude-SearchBot | Vyhľadávanie v Claude (Anthropic) | Neviditeľnosť vo vyhľadávaní Claude |
ClaudeBot | Tréning modelov Claude (Anthropic) | Obsah sa nepoužije na tréning; vyhľadávanie v Claude to neovplyvní |
cohere-ai | Cohere (Command model) | B2B AI nástroje |
Diffbot | Diffbot knowledge graph | Nepriamy dopad na AI znalosti |
FacebookBot | Meta AI (Llama) | Meta AI odporúčania |
Twitterbot | (legacy, teraz X.ai) | Minimálny dopad |
ia_archiver | Internet Archive (Wayback Machine) | Historické záznamy, nie AI priamo |
Pre rok 2026 sú pre viditeľnosť kritické vyhľadávacie boty OAI-SearchBot a PerplexityBot; Claude-SearchBot a FacebookBot rastú, ale zatiaľ s menším dosahom na e-commerce. Okrem nich existujú boty konajúce na pokyn používateľa (ChatGPT-User, Claude-User, Perplexity-User) — načítajú stránku, keď si ju používateľ v chate vyžiada, a niektoré z nich robots.txt nemusia dodržiavať. Zdroje: OpenAI Bots, Anthropic: crawlery.
Google-Extended a Applebot-Extended nie sú crawlery. Nemajú vlastný User-Agent, v access logoch ich neuvidíte. Web sťahuje Googlebot, resp. Applebot; token len určuje, na čo smie firma už stiahnutý obsah použiť. Google-Extended riadi použitie pre Gemini Apps a Vertex AI (tréning a grounding). Nemá vplyv na Google Search ani na AI Overviews a AI Mode — tie riadi Googlebot a pravidlá nosnippet, max-snippet či noindex. Applebot-Extended sa týka len tréningu modelov Apple. Zdroje: Google Common Crawlers, Apple Applebot.
Ako skontrolovať váš aktuálny robots.txt
- Otvorte prehliadač a choďte na
https://vaseshop.sk/robots.txt - Hľadajte sekcie začínajúce
User-agent: OAI-SearchBot,User-agent: GPTBot,User-agent: PerplexityBot(a prípadne pravidloUser-agent: Google-Extended) - Ak tieto sekcie chýbajú — AI crawlery majú prístup (predvolené správanie, dobré)
- Ak nájdete
Disallow: /pod OAI-SearchBot, Claude-SearchBot alebo PerplexityBot — ste pre daný AI vyhľadávač zablokovaní.Disallow: /pod GPTBot alebo ClaudeBot zakazuje len tréning modelov, nie vyhľadávanie.Disallow: /pod Google-Extended vypína len použitie obsahu pre Gemini, nie indexovanie.
Príklad problematického robots.txt:
# ❌ Toto blokuje ChatGPT Search (OpenAI):
User-agent: OAI-SearchBot
Disallow: /
# ⚠️ Toto zakazuje tréning modelov OpenAI (ChatGPT Search ostáva nedotknutý):
User-agent: GPTBot
Disallow: /
# ⚠️ Toto zakazuje použitie obsahu pre Gemini Apps a Vertex AI
# (Google Search a AI Overviews ostávajú nedotknuté):
User-agent: Google-Extended
Disallow: /
# ❌ Toto blokuje Perplexity:
User-agent: PerplexityBot
Disallow: /
Odporúčaný robots.txt pre slovenský e-shop
Toto je template, ktorý odporúčame pre e-shopy, ktoré chcú maximálnu AI viditeľnosť:
# ===========================================
# robots.txt — VášEshop.sk
# Aktualizované: apríl 2026
# ===========================================
# --- Klasické vyhľadávače ---
User-agent: Googlebot
Allow: /
Disallow: /admin/
Disallow: /checkout/
Disallow: /cart/
Disallow: /account/
Disallow: /search?
User-agent: Bingbot
Allow: /
Disallow: /admin/
Disallow: /checkout/
Disallow: /cart/
Disallow: /account/
# --- AI crawlery — POVOLENÉ ---
# OpenAI: OAI-SearchBot = ChatGPT Search (kľúčový pre viditeľnosť),
# GPTBot = tréning modelov (voliteľné povolenie)
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Allow: /
# token, nie crawler – len Gemini
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Allow: /
# Anthropic: Claude-SearchBot = vyhľadávanie v Claude (kľúčový pre viditeľnosť),
# ClaudeBot = tréning modelov (voliteľné povolenie)
User-agent: Claude-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: cohere-ai
Allow: /
User-agent: Diffbot
Allow: /
User-agent: FacebookBot
Allow: /
# --- Neznáme / škodlivé crawlery ---
# (pridajte ak zaznamenávate nadmerné zaťaženie servera)
# User-agent: SemrushBot
# Crawl-delay: 10
# User-agent: AhrefsBot
# Crawl-delay: 10
# --- Sitemap ---
Sitemap: https://www.vaseshop.sk/sitemap.xml
Sitemap: https://www.vaseshop.sk/sitemap-products.xml
Sitemap: https://www.vaseshop.sk/sitemap-categories.xml
Čo blokovať — aj keď povolíte AI crawlery
Aj s otvoreným prístupom pre AI crawlery by ste mali blokovať tieto sekcie (platí pre všetky crawlery vrátane AI):
Disallow: /admin/ # Administračné rozhranie
Disallow: /checkout/ # Platobný proces
Disallow: /cart/ # Košík — dynamický obsah bez hodnoty
Disallow: /account/ # Zákaznícke konto
Disallow: /search? # Vyhľadávacie výsledky (duplikátny obsah)
Disallow: /compare/ # Porovnávač produktov (dynamické URL)
Disallow: /wishlist/ # Zoznamy želaní
Disallow: /*.pdf$ # Interné PDF dokumenty (ak ich nechcete indexovať)
Granulárne riadenie AI crawlerov
Nechcete AI crawlery pustiť na celý web, ale len na produktové stránky? Toto je možné:
# OAI-SearchBot (ChatGPT Search) má prístup len na produkty, kategórie a blog:
User-agent: OAI-SearchBot
Allow: /products/
Allow: /categories/
Allow: /blog/
Disallow: /
Táto konfigurácia povolí ChatGPT Search indexovať produkty a blog, ale nie napríklad FAQ stránky zamestnancov alebo interné dokumenty.
Mýtus: blokovanie AI crawlerov chráni obsah pred scrapingom
Najčastejší dôvod, prečo e-shopy blokujú AI crawlery: strach, že AI „ukradne" obsah a bude ho používať na trénovanie modelov.
Pravda je komplikovanejšia:
-
AI tréning vs. AI search sú rôzne veci. GPTBot (OpenAI) a ClaudeBot (Anthropic) zbierajú obsah na tréning modelov. ChatGPT Search používa samostatný OAI-SearchBot a vyhľadávanie v Claude Claude-SearchBot. Tréningové boty môžete zablokovať bez straty viditeľnosti vo vyhľadávaní.
-
Tréning sa dá vypnúť priamo v robots.txt.
Disallow: /pre GPTBot a ClaudeBot zakáže použitie obsahu na tréning, kým OAI-SearchBot a Claude-SearchBot ostanú povolené. Výsledok: ste vo vyhľadávaní, ale nie v tréningových dátach. -
Blokovanie vás poškodí viac ako scraping. Ak blokujete OAI-SearchBot, ChatGPT Search vás nebude odporúčať zákazníkom. To je oveľa väčšia obchodná škoda ako hypotetické použitie vášho obsahu v tréningu.
Po zmene robots.txt — čo ďalej
Po úprave robots.txt:
- Počkajte 1–2 týždne — AI crawlery potrebujú čas na opätovné navštívenie webu
- Skontrolujte Google Search Console — sekcia „Crawl stats" ukáže, či Googlebot pravidelne navštevuje váš web (Google-Extended tam neuvidíte, nie je to bot)
- Sledujte AI viditeľnosť — cez Pozorio AI uvidíte, či sa vaša viditeľnosť v ChatGPT a Gemini po zmene zlepšila
Záver
robots.txt je päťminútová oprava, ktorá môže výrazne zmeniť vašu AI viditeľnosť. Skontrolujte ho teraz — je na vaseshop.sk/robots.txt. Ak tam nájdete zablokovaný OAI-SearchBot, Claude-SearchBot alebo PerplexityBot, opravte to ešte dnes; pri Google-Extended sa rozhodnite, či chcete, aby Gemini smelo váš obsah používať.
Chcete vedieť, či vás ChatGPT a Gemini vôbec vidia? Bezplatný audit na pozorio.sk to zistí za 60 sekúnd.