Crawler (Web Crawler)

Crawler jest to program używany przez wyszukiwarki internetowe do skanowania stron. Crawler ma za zadanie odwiedzić stronę internetową, zebrać znajdujące się na niej informacje i wykorzystać je go zaktualizowania indeksu wyszukiwarki internetowej.

Zobacz również: Bot, Googlebot