Jetzt gleich anrufen!
Ein Beratungsgespräch ist absolut unverbindlich - und es kostet Sie gar nichts!
Kostenlos mitnehmen!
Mit dem Newsletter bekommen Sie Tips und Tricks per eMail.
Noch einfacher gehts per
RSS-Feed.
robots.txt - Hausordnung für die Suchmaschine
Bei schätzungsweise 120 Milliarden Internetseiten braucht jeder Surfer Hilfe beim Finden der gesuchten Information. Suchmaschinen sind somit der wichstigste Erfolgsfaktor für eine Website.
Artikel aus der Reihe Suchmaschinen
User-Agent bezeichnet den Spider. Das Sternchen * gilt als Jokerzeichen und bedeutet, dass die folgenden Zeilen für alle Spider gelten. Mit "Disallow" werden bestimmte Verzeichnisse (Ordner) für die Robots gesperrt. Pro Verzeichnis ist eine Zeile notwendig.
Alle Roboter ausschließen
User-agent: *Disallow: /
Alle Roboter einladen
Eine leere Datei erfüllt den gleichen ZweckUser-agent: *
Disallow:
Alle Roboter von bestimmten Verzeichnissen fernhalten
User-agent: *Disallow: /unwichtig/
Disallow: /cgi-local/
Einen bestimmten Robot ausschließen
User-agent: SidewinderDisallow: /
Einen bestimmten Robot einladen
User-agent: WebCrawlerDisallow:
Mehrere Dateien ausschließen
# Meine Roboter InfoUser-agent: *
Disallow: /diesunddas.html
Disallow: /unddiesehier.html
Disallow: /verbotenr.html
Kommentare fügen Sie so ein:
# Mein KommentarWeitere Artikel zum Thema Suchmaschinen
- Wie funktioniert eine Suchmaschine?
- Was mögen Suchmaschinen?
- Gute Positionen in Suchmaschinen
- robots.txt - Hausordnung für die Suchmaschine
- Optimierung Ihrer Seiten für Suchmaschinen