Diese Liste enthält die Namen der häufigsten Robots, welche ihre Seite indexieren, und Spuren hinterlassen. Diese Namen sind ebenfalls für die robots.txt wichtig. Bei Versionsnummern, können diese Namen jedoch wechseln. …weiterlesen »

Robots oder Spider sind Programme von Suchmaschinen, die das Web durchsuchen. Sie folgen allen Links, und indexieren meist alle Seiten auf dem Server. Dies ist nicht immer der Wunsch des Webmasters, da z.B. nicht öffentliche Dateien vom Spider indexiert werden. Mit der Datei robots.txt kann man dies verhindern... …weiterlesen »

Es gibt viele Methoden, Suchmaschinen auszutricksen, doch einige werden von den Kontrollstrukturen der Suchmaschinen bereits erkannt... …weiterlesen »

Altavista zählt ebenfalls zu den wichtigsten Suchmaschinen. Auch Altavista hat einige Kriterien, auf die Sie achten sollten. …weiterlesen »