Der Begriff „Robots“ ist eine andere Bezeichnung für „Webcrawler“, die auch „Spider“ oder nur kurz „Bots“ genannt werden. Webcrawler sind Computerprogramme beziehungsweise Scripte, die in erster Linie von Suchmaschinen eingesetzt werden und das World Wide Web durchsuchen und die Webseiten automatisch analysieren. Robots gelangen von einer Webseite zur anderen, indem sie nach Links suchen und ihnen folgen. Alle gefundenen Seiten werden in die URL-Liste der Suchmaschine aufgenommen. Es wird zwischen thematisch fokussierten und universellen Webcrawlern beziehungsweise Robots unterschieden. Fokussierte Crawler verfügen über die Möglichkeit, semantische Zusammenhänge zu erkennen und somit nur wirklich relevante Webseiten zu indexieren.