#
#
# Permet à tous les robots de visiter le site
User-agent: *   
#
#
# Interdit à tous les robots de visiter le dossier cgi-local
Disallow: /cgi-local/
#
#
#
#
#
# Remarques importantes
# 1) Il ne doit exister qu'un seul fichier robots.txt sur l'ensemble du site
# 2) Il doit être situé à la racine du site
# 3) L'astérisque (*) n'est acceptée que dans le champ User-agent
# 4) Vous devez créer plusieurs sections User-agent si vous souhaitez
#    que votre fichier robots.txt s'applique à de facon spécifique
#    selon différents moteurs de recherche
# 5) Le nom du fichier (robots.txt) doit être écrit impérativement en minuscule.
# 6) Il n'existe pas de champs Allow:
# 7) Transférez votre fichier robots.txt en mode ASCII.