User-agent: *
Disallow: /feed/
Disallow: /*/feed/
Disallow: /comments/feed/
Disallow: /*/comments/feed/
Disallow: /tag/
Disallow: /?s=
 
# --------------------------
# KI-Crawler / LLMs zulassen
# --------------------------
 
# GPT / OpenAI
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: OAI-SearchBot
Allow: /
 
# Anthropic (Claude)
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
 
# Perplexity
User-agent: PerplexityBot
Allow: /
 
# Google KI-Erweiterung (Bard / Gemini)
User-agent: Google-Extended
Allow: /
 
# Meta / Facebook AI
User-agent: FacebookBot
Allow: /
User-agent: Meta-ExternalAgent
Allow: /
User-agent: Meta-ExternalFetcher
Allow: /
 
# Common Crawl (für KI-Trainingsdaten)
User-agent: CCBot
Allow: /
 
# Cohere AI
User-agent: cohere-ai
Allow: /

#Bitsight
User-agent: BitSightBot
Disallow: /wp-includes/

# --------------------------
# Sitemap & KI-Hinweis
# --------------------------
 
Sitemap: https://www.fiuka.de/sitemap_index.xml
Sitemap: https://www.fiuka.de/llms.txt
 
# Hinweis: llms.txt dient KI-Systemen als Inhaltsübersicht,
# sie ist NICHT für klassische Suchmaschinen bestimmt.
# Google kann diese Datei crawlen, sollte sie aber nicht indexieren.
# --------------------------------------------
# Kontakt: info@fiuka.de | www.fiuka.de