爬蟲

網路爬蟲（web crawler）是一種程式，通常被稱為機器人（bot 或 robot），它會系統地瀏覽 Web 以收集網頁資料。搜尋引擎（例如 Google、Bing 等）通常使用爬蟲來構建索引。