Robots oder Spider sind Programme von Suchmaschinen, die das Web durchsuchen. Sie folgen allen Links, und indexieren meist alle Seiten auf dem Server. Dies ist nicht immer der Wunsch des Webmasters, da z.B. nicht öffentliche Dateien vom Spider indexiert werden. Mit der Datei robots.txt kann man dies verhindern… Continue reading
Categories