眾所周知，傳統(tǒng)意義上網(wǎng)絡爬蟲是搜索引擎上游的一個重要功能模塊，是負責搜索引擎內容索引核心功能的第一關。

然而，隨著大數(shù)據(jù)時代的來臨，信息爆炸了，互聯(lián)網(wǎng)的數(shù)據(jù)呈現(xiàn)倍增的趨勢，如何高效地獲取互聯(lián)網(wǎng)中感興趣的內容并為所用是目前數(shù)據(jù)挖掘領域增值的一個重要方向。網(wǎng)絡爬蟲正是出于這個目的，迎來了新一波的振興浪潮，成為近幾年迅速發(fā)展的熱門技術。

目前網(wǎng)絡爬蟲大概分為四個發(fā)展階段：

第一個階段是早期爬蟲，那時互聯(lián)網(wǎng)基本都是完全開放的，人類流量是主流。

第二個階段是分布式爬蟲，互聯(lián)網(wǎng)數(shù)據(jù)量越來越大，爬蟲出現(xiàn)了調度問題。

第三階段是暗網(wǎng)爬蟲，這時的互聯(lián)網(wǎng)出現(xiàn)了新的業(yè)務，這些業(yè)務的數(shù)據(jù)之間的鏈接很少，例如淘寶的評價。

第四階段是智能爬蟲，主要是社交網(wǎng)絡數(shù)據(jù)的抓取，解決賬號，網(wǎng)絡封閉，反爬手段、封殺手法千差萬別等問題。

目前，網(wǎng)絡爬蟲目前主要的應用領域如：搜索引擎，數(shù)據(jù)分析，信息聚合，金融投資分析等等。

巧婦難為無米之炊，在這些應用領域中，如果沒有網(wǎng)絡爬蟲為他們抓取數(shù)據(jù)，再好的算法和模型也得不到結果。而且沒有數(shù)據(jù)進行機器學習建模，也形成不了能解決實際問題的模型。因此在目前炙手可熱的人工智能領域，網(wǎng)絡爬蟲越來越起到數(shù)據(jù)生產(chǎn)者的關鍵作用，沒有網(wǎng)絡爬蟲，數(shù)據(jù)挖掘、人工智能就成了無源之水和無本之木。

具體而言，現(xiàn)在爬蟲的熱門應用領域的案例是比價網(wǎng)站的應用。目前各大電商平臺為了吸引用戶，都開展各種優(yōu)惠折扣活動。同樣的一個商品可能在不同網(wǎng)購平臺上價格不一樣，這就催生了比價網(wǎng)站或App，例如返利網(wǎng)，折多多等。這些比價網(wǎng)站一個網(wǎng)絡爬蟲來實時監(jiān)控各大電商的價格浮動。就是采集商品的價格，型號，配置等，再做處理，分析，反饋。這樣可以在秒級的時間內獲得一件商品在某電商網(wǎng)站上是否有優(yōu)惠的信息。