Presentationsdatei robots.txt

die Datei robots.txt ist eine Textdatei, die Aufträge nach den Robotern der Indexierung der Forschungsmotoren enthält, um ihnen die Seiten festzulegen, die können oder können nicht indexiert werden. So beginnt jeder Forschungsmotor die Erforschung eines Netzstandortes, indem er die Datei sucht robots.txt der Haupsitz der Homepage

Dateiformat robots.txt

die Datei robots.txt geschrieben in kleinen Buchstaben und an den Plural), ist eine Datei ASCIIbefindet sich im Haupsitz der Homepage und kann die folgenden Aufträge enthalten :

• User-Agent: erlaubt, den Roboter festzulegen, der von den folgenden Richtlinien betroffen ist. Der Wert * bedeutet "alle Suchmotoren".
• Disallow: erlaubt, die von der Indexierung auszuschließenden Seiten anzugeben. Jede Seite oder auszuschließender Weg muß auf einer Sonderlinie sein und muß beginnen mit /der Wert / bedeutet allein "alle Seiten der Homepage".

die Datei robots.txt es darf keine weisse Linie enthalten sein!

Hier Dateibeispiele robots.txt :

• Ausschluss aller Seiten :

  User-Agent: *
  Disallow: /

• Ausschluß keiner Seite (äquivalent am Fehlen einer Datei robots.txtalle Homepages können besucht werden) :

  User-Agent: *
  Disallow: 

• Genehmigung eines Roboters  :

  User-Agent: nomDuRobot
  Disallow :
  User-Agent: *
  Disallow: /

• Ausschluss einer Roboters :

  User-Agent: Name des Roboters
  Disallow: /
  User-Agent: *
  Disallow:

• Ausschluss einer Seite :

  User-Agent: *
  Disallow: /Verzeichnis/weg/seite.html

• Ausschluss mehrerer Seiten :

  User-Agent: *
  Disallow: /Verzeichnis/weg/seit.html
  Disallow: /Verzeichnis/weg/seite2.html
  Disallow: /Verzeichnis/weg/seite3.html

• Ausschluß aller Seiten eines Registers und seiner unter-Ordner :

  User-Agent: *
  Disallow: /repertoire/

Einige User-Agents

Voici quelques exemples de User-Agents für die populärsten Forschungsmotoren :

für mehr Infos

die Web-Robots Seite