Eine robots.txt ist eine Textdatei die auf einem Webserver abgelegt wird und die Robots oder Crawlern vorgibt, wo im World Wide Web sie nach Daten suchen und welche Seiten nicht in die Suche mit aufgenommen werden dürfen, oder bei welchen Verzeichnissen und Webseiten der Einsatz von Robots keinen Sinn macht. Die robots.txt wird in dem Hauptverzeichnis einer Domain installiert und darf pro Zugang nur einmal abgelegt werden. In der Textdatei können beliebig viele Regeln festgelegt werden. Jede Regel muss immer zwei Bereiche definieren: Erstens für welche Robots gilt die Regel und zweitens welche Dateien und Verzeichnisse dürfen in die Ergebnisliste der Suchmaschine nicht aufgenommen werden.