Liste der Robots, Spider oder Crawler
Stand vom 16.02.2002
Diese Liste enthält die Namen der häufigsten Robots, welche ihre Seite indexieren, und Spuren hinterlassen. Diese Namen sind ebenfalls für die robots.txt wichtig. Bei Versionsnummern, können diese Namen jedoch wechseln.
| Suchmaschine | Name des Robots |
| Abacho | AbachoBOT |
| Acoon | Acoon Robot v1.50.001 |
| Altavista | Scooter/1.0 scooter@pa.dec.com Scooter-3.0.g12-23 Mercator-1.2 Mercator-1.1 |
| Aladin | Aladin/3.324 |
| Euroseek | Freecrawl |
| Eule | Eule-RobotEule-Robot |
| Excite | ArchitextSpider |
| Fireball | KIT-Fireball/2.0 |
| Googlebot/2.1d BackRub/2.1 |
|
| Hotbot | Slurp/si Slurp/2.0 |
| Lycos | Lycos_Spider_(T-Rex) |
| Nathan | Tarantula |
| Northernlight | Gulliver/1.3 Gulliver/1.1 |
technisch
HTML