Wozu eine robots.txt?
Published by Frank Beyer on May 6th, 2013
Eine robots.txt im Root Verzeichnis einer Domain soll von den Robotern von Suchmaschinen als erstes gelesen werden.
In einer robots.txt kann man angeben, welcher Such-Roboter welche Verzeichnisse lesen und indizieren darf.
Die meisten Suchmaschinen halten sich auch daran.
Es handelt sich um eine normale Textdatei, die bestimmten Formaten entsprechen muss.
Maximale Sicherung gegen Robots und Spider
User-agent: *
Disallow: /
Sicherung aller Robots ausser Google und Adsense:
User-agent: *
Disallow: /
User-Agent: Googlebot
Allow: /
User-agent: Mediapartners-Google
Allow: /
Disallow: /
User-Agent: Googlebot
Allow: /
User-agent: Mediapartners-Google
Allow: /
Sicherung bestimmter Verzeichnisse
User-agent: *
Disallow: /test/
Disallow: /temp/
oder auch
User-agent: bingbot
User-agent: slurp
User-agent: msnbot
Disallow: /privat/
Allow: /privat/uebersicht.html
Posted on May 6th, 2013