Ein automatisiertes Programm, das durchsucht des Internets nach neuen Webdokumente und platziert ihre Adressen und Content-bezogene Informationen in einer Datenbank, die mit einer Suchmaschine zugegriffen werden kann. In der Regel als eine Art Bot oder Internet-Roboter.