# ============================================
# nordzypern.de — robots.txt
# Stand: Mai 2026
# ============================================

User-agent: *
Allow: /

# Server-Artefakte blockieren
Disallow: /api/
Disallow: /admin/
# Hinweis: /cgi-bin/ wurde aus dem Disallow entfernt, da der Pfad bereits
# einen 410 Gone liefert (URL existiert nicht und kommt nicht zurück).
# Google muss crawlen dürfen, um den 410 zu sehen und zu deindexieren.
# Vorher GSC-Meldung „Indexed, though blocked by robots.txt" am 22.05.2026.
# Auch /feed/, /category/, /activities/, /tag/, /author/, /wp-* und
# alte /.../page/N-Pfade dürfen gecrawlt werden, damit Google deren
# HTTP 410 Gone sehen und die URLs aus dem Index entfernen kann.
Disallow: /de/

# Parameter-URLs blockieren
Disallow: /*?SA
Disallow: /*?type=
Disallow: /*?print=
Disallow: /*?utm_
Disallow: /*?ref=
Disallow: /*?fbclid=
Disallow: /*?gclid=
Disallow: /*?s=

# ============================================
# AI-Crawler explizit erlauben (GEO / LLM-Sichtbarkeit)
# ============================================

User-agent: GPTBot
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: OAI-SearchBot
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: ChatGPT-User
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: Perplexity-User
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: Meta-ExternalAgent
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: Claude-Web
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: ClaudeBot
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: Claude-SearchBot
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: anthropic-ai
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: Google-Extended
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: Applebot-Extended
Allow: /
Disallow: /api/
Disallow: /admin/

User-agent: cohere-ai
Allow: /
Disallow: /api/
Disallow: /admin/

# ============================================
# Sitemap
# ============================================

Sitemap: https://www.nordzypern.de/sitemap-index.xml
Sitemap: https://www.nordzypern.de/sitemap.xml
Sitemap: https://www.nordzypern.de/sitemap-images.xml