Schritt 1
Die Datei robots.txt muß im Hauptverzeichnis Ihrer Website (http://www.ihredomain.tld/robots.txt) erreichbar sein. Suchmaschinen werten diese Datei aus, bevor sie die Seiten Ihrer Website durchsuchen. Einige Suchmaschinen brechen den Vorgang der Aufnahme in den Index ab, wenn die Datei nicht gefunden wird. Stellen Sie daher mindestens eine einfache robots.txt mit allen Freigaben bereit.
© Copyright 2012 Klest InterNET Ltd.