Unter einem Crawler versteht man ein spezielles Computerprogramm, das überwiegend von Suchmaschinen verwendet wird. Es folgt einer Spur von Hyperlinks, gelangt so von einer Webseite zur nächsten und dient damit der Erstellung eines Index von Adressen im Internet.
Diese neu gefunden URLs werden anschließend der Liste bereits Vorhandener hinzugefügt und erweitern diese. Meist sind die Crawler dabei auf ein spezielles Themengebiet fokussiert, denn der Versuch einer übergreifenden Aufnahme aller Seiten aus WWW ist nur theoretisch sinnvoll, in der Praxis aber nicht üblich. Durch eine anschließende Analyse der gefundenen Seiten wird es möglich diese durch Eingabe bestimmter Daten zu finden.