robots.txt – Hausordnung für die Suchmaschine

Bei schätzungsweise 120 Milliarden Internetseiten braucht jeder Surfer Hilfe beim Finden der gesuchten Information. Suchmaschinen sind somit der wichstigste Erfolgsfaktor für eine Website.

User-Agent bezeichnet den Spider. Das Sternchen * gilt als Jokerzeichen und bedeutet, dass die folgenden Zeilen für alle Spider gelten. Mit „Disallow“ werden bestimmte Verzeichnisse (Ordner) für die Robots gesperrt. Pro Verzeichnis ist eine Zeile notwendig.

Alle Roboter ausschließen

User-agent: *
Disallow: /

Alle Roboter einladen

Eine leere Datei erfüllt den gleichen Zweck
User-agent: *
Disallow:

Alle Roboter von bestimmten Verzeichnissen fernhalten

User-agent: *
Disallow: /unwichtig/
Disallow: /cgi-local/

Einen bestimmten Robot ausschließen

User-agent: Sidewinder
Disallow: /

Einen bestimmten Robot einladen

User-agent: WebCrawler
Disallow:

Mehrere Dateien ausschließen

# Meine Roboter Info

User-agent: *
Disallow: /diesunddas.html
Disallow: /unddiesehier.html
Disallow: /verbotenr.html

Kommentare fügen Sie so ein:

# Mein Kommentar