在 Scrapy 中要抓取和解析一些邏輯內(nèi)容和提取網(wǎng)站的鏈接，其實(shí)都是需要在 Spider 中完成的。在上一篇文章中我們介紹了Scarpy框架的簡單使用，后面一些文章我們要陸續(xù)介紹框架里面的Spider、配置、管道、中間件等。scrapy 框架分為spider爬蟲和CrawlSpider(規(guī)則爬蟲)，本篇文章主要介紹Spider爬蟲的使用。

　　spider

　　在實(shí)現(xiàn) Scrapy 爬蟲項(xiàng)目時，最核心的類就是 Spider 類了，它定義了如何爬取某個網(wǎng)站的流程和解析方式。簡單來講，Spider 要做的事就是如下兩件。

　　• 定義爬取網(wǎng)站的動作

　　• 分析爬取下來的網(wǎng)頁

　　對于 Spider 類來說，整個爬取循環(huán)如下所述。

　　• 以初始的 URL 初始化 Request，并設(shè)置回調(diào)函數(shù)。 當(dāng)該 Request 成功請求并返回時，將生成 Response，并作為參數(shù)傳給該回調(diào)函數(shù)。

　　• 在回調(diào)函數(shù)內(nèi)分析返回的網(wǎng)頁內(nèi)容。返回結(jié)果可以有兩種形式，一種是解析到的有效結(jié)果返回字典或 Item 對象。下一步可經(jīng)過處理后(或直接)保存，另一種是解析得下一個(如下一頁)鏈接，可以利用此鏈接構(gòu)造 Request 并設(shè)置新的回調(diào)函數(shù)，返回 Request。

　　• 如果返回的是字典或 Item 對象，可通過 Feed Exports 等形式存入到文件，如果設(shè)置了 Pipeline 的話，可以經(jīng)由 Pipeline 處理(如過濾、修正等)并保存。

　　• 如果返回的是 Reqeust，那么 Request 執(zhí)行成功得到 Response 之后會再次傳遞給 Request 中定義的回調(diào)函數(shù)，可以再次使用選擇器來分析新得到的網(wǎng)頁內(nèi)容，并根據(jù)分析的數(shù)據(jù)生成 Item。

　　通過以上幾步循環(huán)往復(fù)進(jìn)行，便完成了站點(diǎn)的爬取。

　　我們以星巴克網(wǎng)站為例，為大家介紹Spider類，首先創(chuàng)建項(xiàng)目和創(chuàng)建爬蟲，具體步驟如下：

　　scrapy startproject starbuckspro

　　進(jìn)入starbuckspro中，執(zhí)行scrapy genspider starbucks https://www.starbucks.com.cn

　　此時我們就可以看到，有爬蟲文件產(chǎn)生如圖:

　　此時大家看到類：StarbucksSpider繼承自scrapy.Spider，這個類是最簡單最基本的 Spider 類，任何其他的 Spider 必須繼承這個類，包括后文要說明的一些特殊 Spider 類也都是繼承自它。這個類里提供了 startrequests () 方法的默認(rèn)實(shí)現(xiàn)，讀取并請求 starturls 屬性，并根據(jù)返回的結(jié)果調(diào)用 parse () 方法解析結(jié)果。另外它還有一些基礎(chǔ)屬性，下面對其進(jìn)行講解：

　　name: 爬蟲名稱，是定義 Spider 名字的字符串。Spider 的名字定義了 Scrapy 如何定位并初始化 Spider，所以其必須是唯一的。如果該 Spider 爬取單個網(wǎng)站，一個常見的做法是以該網(wǎng)站的域名名稱來命名 Spider。

　　allowed_domains:允許爬取的域名，是可選配置，不在此范圍的鏈接不會被跟進(jìn)爬取。

　　start_urls:起始 URL 列表，當(dāng)我們沒有實(shí)現(xiàn) start_requests () 方法時，默認(rèn)會從這個列表開始抓取。

　　當(dāng)然還有custom_settings和settings，可以進(jìn)行一些設(shè)置或者獲取一些全局的設(shè)置。而crawler屬性是由 from_crawler () 方法設(shè)置的，代表的是本 Spider 類對應(yīng)的 Crawler 對象。

　　除了一些基礎(chǔ)屬性，Spider 還有一些常用的方法：

　　start_requests ()：此方法用于生成初始請求，它必須返回一個可迭代對象，此方法會默認(rèn)使用 start_urls 里面的 URL 來構(gòu)造 Request，而且 Request 是 GET 請求方式。如果我們想在啟動時以 POST 方式訪問某個站點(diǎn)，可以直接重寫這個方法，發(fā)送 POST 請求時我們使用 FormRequest 即可。

　　parse ()：當(dāng) Response 沒有指定回調(diào)函數(shù)時，該方法會默認(rèn)被調(diào)用，它負(fù)責(zé)處理 Response，處理返回結(jié)果，并從中提取出想要的數(shù)據(jù)和下一步的請求，然后返回。該方法需要返回一個包含 Request 或 Item 的可迭代對象。

　　closed ()：當(dāng) Spider 關(guān)閉時，該方法會被調(diào)用，在這里一般會定義釋放資源的一些操作或其他收尾操作。

　　當(dāng)前星巴克的菜單頁面如上圖，我們要爬取里面的所有菜單名稱和圖片。parse()方法在 Response 沒有指定回調(diào)函數(shù)時，會默認(rèn)被調(diào)用。所以里面的參數(shù)response就是我們獲取的頁面結(jié)果，我們要從頁面中提取想要的菜單名稱和圖片鏈接地址進(jìn)行保存。于是我們要重寫parse()方法和定義Item.py文件

　　Item

　　在抓取數(shù)據(jù)的過程中，主要要做的事就是從雜亂的數(shù)據(jù)中提取出結(jié)構(gòu)化的數(shù)據(jù)。Scrapy的Spider可以把數(shù)據(jù)提取為一個Python中的字典，雖然字典使用起來非常方便，對我們來說也很熟悉，但是字典有一個缺點(diǎn)：缺少固定結(jié)構(gòu)。在一個擁有許多爬蟲的大項(xiàng)目中，字典非常容易造成字段名稱上的語法錯誤，或者是返回不一致的數(shù)據(jù)。

　　所以Scrapy中，定義了一個專門的通用數(shù)據(jù)結(jié)構(gòu)：Item。這個Item對象提供了跟字典相似的API，并且有一個非常方便的語法來聲明可用的字段。

　　我們的Item的代碼內(nèi)容如下(因?yàn)橹恍枰４婷Q和圖片鏈接即可)：

　　構(gòu)建items.py文件完成后，還需要進(jìn)一步處理爬取的數(shù)據(jù)，這就需要修改該項(xiàng)目中的pipelines.py文件。

　　Pipeline

　　Item Pipeline 是項(xiàng)目管道。也是保存結(jié)構(gòu)數(shù)據(jù)的地。它的調(diào)用發(fā)生在 Spider 產(chǎn)生 Item 之后。當(dāng) Spider 解析完 Response 之后，Item 就會傳遞到 Item Pipeline，被定義的 Item Pipeline 組件會順次調(diào)用，完成一連串的處理過程，比如數(shù)據(jù)清洗、存儲等。 它的主要功能有：

　　• 清洗 HTML 數(shù)據(jù)

　　• 驗(yàn)證爬取數(shù)據(jù)，檢查爬取字段

　　• 查重并丟棄重復(fù)內(nèi)容

　　• 將爬取結(jié)果儲存到數(shù)據(jù)庫

　　定義Item非常簡單，只需要繼承scrapy.Item類，并將所有字段都定義為scrapy.Field類型即可。Field對象可用來對每個字段指定元數(shù)據(jù)。

　　其中經(jīng)常使用的方法就是processitem () ，被定義的 Item Pipeline 會默認(rèn)調(diào)用這個方法對 Item 進(jìn)行處理。比如，我們可以進(jìn)行數(shù)據(jù)處理或者將數(shù)據(jù)寫入到數(shù)據(jù)庫等操作。它必須返回 Item 類型的值或者拋出一個 DropItem 異常。 processitem () 方法的參數(shù)有如下兩個。

　　• item，是 Item 對象，即被處理的 Item

　　• spider，是 Spider 對象，即生成該 Item 的 Spider

　　所以我們的Pipeline代碼如下(將數(shù)據(jù)存儲到數(shù)據(jù)庫中)：

　　注意在settings.py中設(shè)置當(dāng)前的Pipeline。

　　為了避免被發(fā)現(xiàn)爬蟲我們還可以在settings.py中，如下設(shè)置：

　　準(zhǔn)備活動完成后，我們開始編寫我們的爬蟲文件，爬取頁面的分析如下圖

　　執(zhí)行爬蟲通過命令：scrapy crawl starbucks，則最后的下載數(shù)據(jù)結(jié)果如下：