Wozu eine robots.txt?
Published by Frank Beyer on May 6th, 2013
Eine robots.txt im Root Verzeichnis einer Domain soll von den Robotern von Suchmaschinen als erstes gelesen werden.
In einer robots.txt kann man angeben, welcher Such-Roboter welche Verzeichnisse lesen und indizieren darf.
Die meisten Suchmaschinen hal...