Sie sind hier:
Dateien
robots.txt
Dem Robot sagen wo er suchen darf
Stellen Sie sich Ihren eigenen robots.txt zusammen
Nachdem web to date in den Meta Tags keine Möglichkeit bietet den Webcrawlern der Suchmaschinen mit Hilfe des Tags Robots zu zeigen wo es lang geht, ist die Datei robots.txt zwingend notwendig.
Wenn keine Unterseite von der Aufnahme in die Suchmaschine ausgeschlossen werden soll ist (nach ausgiebigen Tests) folgender Inhalt sinnvoll:
User-Agent: *
Allow: /
Damit erlauben Sie allen Robots alle Seiten anzusehen.
(Siehe auch: http://www.suchmaschinenoptimierung-kostenlos.com/robots.txt)
Eine andere Möglichkeit wäre:
User-Agent: *
Disallow:
Jedoch wird hierbei ein Verbot ausgesprochen, auch wenn es nicht klar definiert ist. Im Suchmaschinentest hat sich die erste Variante bewährt.
