SEO - Spider, Robots und Webcrawler
Was sind Robots, Spider und Webcrawler?
Suchmaschinen nutzen so genannte Spider oder Robots (Webcrawler), also automatische Programme, die den gesamten Quelltext einer Webseite durchlesen und mittels der zuvor bereits genannten Ranking-Algorithmus bewerten, indexieren und in einer riesigen Datenbank ablegen. Danach wird der Spider den auf der Seite befindlichen Links folgen und das Ganze passiert noch einmal. Einen Spider kann man mit einem der ersten Internet-Browser namens Lynx vergleichen, welcher nur die relevanten Daten anzeigt.
Das einzig Interessante für einen Spider ist der textbasierte Seiteninhalt. Grafiken oder Java Applets sind zwar schön anzusehen, aber (noch) nicht lesbar für diese Roboter. Dieses gilt auch für Links und Textinhalte in Imagemaps und Flash-Animationen. Auch bei einer Seite mit Frames (Rahmen) werden die Links häufig nicht verfolgt.
Webcrawler, Spider und Robots durchstöbern das Net
(C) 2006 - Alle Rechte vorbehalten