# ══════════════════════════════════════════════════════
# robots.txt — Код и Смысл (kodismysl.ru)
# Стратегия:
#  • Поисковые боты (Google, Яндекс, Bing) — разрешены.
#  • AI-поисковые боты (которые присылают трафик и ссылаются
#    на источник) — разрешены.
#  • Training-only боты (берут контент для обучения моделей,
#    трафик не дают) — заблокированы.
# ══════════════════════════════════════════════════════

# ─── Классические поисковые системы ───
User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: YandexBot
Allow: /

User-agent: Yandex
Allow: /

User-agent: YandexImages
Allow: /

User-agent: Bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Applebot
Allow: /

User-agent: MailRu
Allow: /

# ─── AI-поисковые боты: дают трафик и цитируют источник ───
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: YandexAdditional
Allow: /

# ─── Training-only боты: блокируем (забирают контент, трафик не дают) ───
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: MistralAI-User
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: ImagesiftBot
Disallow: /

User-agent: YouBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: cohere-training-data-crawler
Disallow: /

# ─── Все остальные — разрешены по умолчанию ───
User-agent: *
Allow: /
Disallow: /landing-webdev.html
Disallow: /*.bak$
Disallow: /*.tmp$

# ─── Sitemaps и Host ───
Sitemap: https://kodismysl.ru/sitemap.xml
Host: kodismysl.ru