# Smart City Mag - robots.txt
#
# ATTENTION AVANT DEPLOIEMENT : ce fichier est NOUVEAU dans le depot. Un
# robots.txt peut deja exister EN PRODUCTION sans etre versionne ici. Ne pas
# l'ecraser aveuglement : recuperer d'abord celui du serveur et fusionner les
# deux, sinon des exclusions historiques seraient silencieusement perdues.
#
# Rappel (IDX-03) : robots.txt regle l'EXPLORATION, pas l'indexation. Une URL
# interdite ici peut rester dans l'index sans que le moteur puisse y lire son
# noindex. Pour desindexer, laisser l'acces et poser la balise robots.
#
# Les pages de lecture /liseuse/<slug> ne sont volontairement PAS bloquees ici :
# elles portent <meta name="robots" content="noindex, nofollow">, et un Disallow
# empecherait justement les moteurs de lire cette balise. C'est la fiche numero
# qui reste la page indexable.

User-agent: *
Disallow: /liseuse/asset/
Disallow: /liseuse/pdf/
Allow: /liseuse/couverture/

# /liseuse/auth et /liseuse/connexion ne sont PLUS bloques : Search Console
# (bilan du 4 septembre 2026) les comptait parmi les 21 URL « indexees malgre
# robots.txt ». Les deux envoient X-Robots-Tag: noindex, nofollow
# (liseuse_auth.php, includes/header_menuchoice_switch.php menu 210) : il
# faut laisser le moteur les lire pour qu'elles sortent de l'index (IDX-03).

# Recherche interne : /recherche/<terme>/ porte desormais noindex (menu 777,
# includes/seo.php). Volontairement PAS de Disallow pour l'instant : les
# moteurs doivent d'abord pouvoir LIRE ce noindex sur les URL de recherche
# deja connues. Un Disallow immediat les figerait dans l'index (IDX-03).
# A ajouter dans un second temps, une fois la desindexation constatee dans
# Search Console :
#   Disallow: /recherche/

# Tunnel de commande et endpoints techniques : aucun contenu a explorer.
# smread.php et vcolread.php ne sont PAS bloques : ce sont des ressources
# chargees par les pages, et interdire une ressource de rendu fausse la
# reconstitution de la page par le moteur (IDX-01).
Disallow: /reg_form.php
Disallow: /reg.php
Disallow: /register_mail.php
Disallow: /suivi/
Disallow: /admnt/
Disallow: /desinscription_newsletter/

# Le prototype de refonte (/v2026-1/, /beta/) n'est PAS bloque ici, pour la
# meme raison que la liseuse : il sert deja X-Robots-Tag: noindex, nofollow,
# noarchive en en-tete HTTP ET la balise meta correspondante. Un Disallow
# empecherait les moteurs de LIRE ce noindex, et une URL du prototype deja
# connue resterait indexee sans jamais pouvoir en sortir (IDX-03).

Sitemap: https://www.smartcitymag.fr/sitemap.xml
Sitemap: https://www.smartcitymag.fr/newssitemap.xml

# ---------------------------------------------------------------------
# ROBOTS D'IA - DECISION DE L'EDITEUR, 5 septembre 2026 : ACCES AUTORISE
#
# GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot,
# Applebot-Extended et consorts sont autorises. Ils le sont DEJA par le
# groupe "User-agent: *" ci-dessus : c'est pourquoi aucun groupe nomme
# n'est ajoute ici. Ce n'est pas un oubli.
#
# NE PAS ajouter de groupe "User-agent: GPTBot" (ou autre) pour rendre
# cette autorisation "explicite". Un robot n'obeit qu'au groupe LE PLUS
# SPECIFIQUE qui le concerne : lui donner son propre groupe lui ferait
# IGNORER le groupe "*" en entier, donc perdre les Disallow sur /admnt/,
# /suivi/, /desinscription_newsletter/ et le tunnel de commande.
#
# Pour REVENIR sur cette decision, ajouter un groupe par robot a bloquer,
# en y RECOPIANT les Disallow du groupe "*" :
#
#   User-agent: GPTBot
#   Disallow: /
#
# Deux points a ne pas confondre le jour ou la question se repose :
#  - Google-Extended ne conditionne PAS le classement dans la recherche
#    Google, uniquement l'usage des contenus par certains produits ;
#  - un blocage n'empeche pas la citation d'un contenu deja connu.
# ---------------------------------------------------------------------