die Datei robots.txt ist eine Textdatei, die Aufträge nach den Robotern der Indexierung der Forschungsmotoren enthält, um ihnen die Seiten festzulegen, die können oder können nicht indexiert werden. So beginnt jeder Forschungsmotor die Erforschung eines Netzstandortes, indem er die Datei sucht robots.txt der Haupsitz der Homepage
die Datei robots.txt geschrieben in kleinen Buchstaben und an den Plural), ist eine Datei ASCIIbefindet sich im Haupsitz der Homepage und kann die folgenden Aufträge enthalten :
![]() |
die Datei robots.txt es darf keine weisse Linie enthalten sein! |
Hier Dateibeispiele robots.txt :
User-Agent: * Disallow: /
User-Agent: * Disallow:
User-Agent: nomDuRobot Disallow : User-Agent: * Disallow: /
User-Agent: Name des Roboters Disallow: / User-Agent: * Disallow:
User-Agent: * Disallow: /Verzeichnis/weg/seite.html
User-Agent: * Disallow: /Verzeichnis/weg/seit.html Disallow: /Verzeichnis/weg/seite2.html Disallow: /Verzeichnis/weg/seite3.html
User-Agent: * Disallow: /repertoire/
Voici quelques exemples de User-Agents für die populärsten Forschungsmotoren :
| Name des Motors | User Agent |
|---|---|
| Alta Vista | Scooter |
| Excite | ArchitextSpider |
| Googlebot | |
| HotBot | Slurp |
| InfoSeek | InfoSeek Sidewinder |
| Lycos | T-Rex |
| So | Echo |
die Web-Robots Seite
Letzte Änderung am Mittwoch 1 April 2009 à 14:16:19.