# robots.txt Bestforfait (créé le 05/07/2026)
# Les dossiers techniques sont déjà bloqués en 403 par le .htaccess :
# inutile (et imprudent) de les lister ici.

User-agent: *
# redirections d'affiliation : pas d'intérêt pour l'indexation
Disallow: /siteout.php
# fragments serveur (headers/footers) : jamais des pages
Disallow: /navig-axxa/
# endpoints AJAX des modales « Comparer mes choix » (10/07/2026) : des
# fragments de cartes, pas des pages
Disallow: /comparer-forfaits.php
Disallow: /box/comparer-box.php

# ── Robots des IA génératives (GEO — 05/07/2026) ────────────────────────────
# POLITIQUE : on AUTORISE les IA. Objectif GEO = être CITÉ par ChatGPT,
# Perplexity, Google AI Overviews, Claude... Tous les bots ci-dessous sont
# DÉJÀ autorisés par le « User-agent: * » plus haut : rien à ajouter pour les
# laisser entrer. Ce bloc sert de mémo + d'interrupteur prêt à l'emploi.
#
# 1) Fetchers de RÉPONSE — vont chercher une page pour répondre EN DIRECT à une
#    question : ce sont EUX qui CITENT la source et amènent du trafic.
#    À GARDER OUVERTS :
#      OpenAI     : OAI-SearchBot, ChatGPT-User
#      Perplexity : PerplexityBot, Perplexity-User
#      Anthropic  : Claude-SearchBot, Claude-User
#      Google AI Overviews utilise Googlebot classique (déjà autorisé).
#
# 2) Bots d'ENTRAÎNEMENT — aspirent le contenu pour ENTRAÎNER les modèles, sans
#    citation directe. Ouverts par défaut. Pour les COUPER sans toucher aux
#    citations, il suffit de RETIRER le « # » des 7 lignes ci-dessous :
#
# User-agent: GPTBot
# User-agent: Google-Extended
# User-agent: ClaudeBot
# User-agent: CCBot
# User-agent: Bytespider
# User-agent: Applebot-Extended
# Disallow: /

Sitemap: https://www.bestforfait.com/sitemap.xml