這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)?lái)有關(guān)使用Python怎么爬取豆瓣電影名,文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。
成都創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù),包含不限于網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站建設(shè)、富平網(wǎng)絡(luò)推廣、成都微信小程序、富平網(wǎng)絡(luò)營(yíng)銷、富平企業(yè)策劃、富平品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等,從售前售中售后,我們都將竭誠(chéng)為您服務(wù),您的肯定,是我們最大的嘉獎(jiǎng);成都創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供富平建站搭建服務(wù),24小時(shí)服務(wù)熱線:028-86922220,官方網(wǎng)址:www.2m8n56k.cn
1、簡(jiǎn)單易用,與C/C++、Java、C# 等傳統(tǒng)語(yǔ)言相比,Python對(duì)代碼格式的要求沒(méi)有那么嚴(yán)格;2、Python屬于開(kāi)源的,所有人都可以看到源代碼,并且可以被移植在許多平臺(tái)上使用;3、Python面向?qū)ο螅軌蛑С置嫦蜻^(guò)程編程,也支持面向?qū)ο缶幊蹋?、Python是一種解釋性語(yǔ)言,Python寫(xiě)的程序不需要編譯成二進(jìn)制代碼,可以直接從源代碼運(yùn)行程序;5、Python功能強(qiáng)大,擁有的模塊眾多,基本能夠?qū)崿F(xiàn)所有的常見(jiàn)功能。
一、爬蟲(chóng)豆瓣電影名思路分析
1、爬蟲(chóng)代理
headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit' + '/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36' }
2、獲取網(wǎng)絡(luò)連接
res = requests.get("https://movie.douban.com/top250", headers=headers)
第一個(gè)參數(shù)就是網(wǎng)址,要確保網(wǎng)址能夠打開(kāi),第二個(gè)參數(shù)就是代理。
3、對(duì)網(wǎng)址進(jìn)行解析
soup = BeautifulSoup(res.text, 'lxml')
第一個(gè)參數(shù)是網(wǎng)站,后綴名".text"是將網(wǎng)站源碼轉(zhuǎn)換為文本,方便解析;
第二個(gè)參數(shù)是解析器,而lxml就是一種解析器,用來(lái)解析網(wǎng)站。
4、匹配所有電影名所在的標(biāo)簽
targets = soup.find_all("div", class_="hd")
5、使用簡(jiǎn)單的for循環(huán),輸出標(biāo)簽中的電影名
for each in targets: print(each.a.span.text)
循環(huán)輸出就可以了,但要注意轉(zhuǎn)換為文本,避免出現(xiàn)亂碼的情況。
二、爬蟲(chóng)豆瓣電影名簡(jiǎn)單代碼示例
import requests from bs4 import BeautifulSoup if __name__ == '__main__': headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit' + '/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36' } res = requests.get("https://movie.douban.com/top250", headers=headers) print(res.status_code) soup = BeautifulSoup(res.text, 'lxml') targets = soup.find_all("div", class_="hd") for each in targets: print(each.a.span.text
上述就是小編為大家分享的使用Python怎么爬取豆瓣電影名了,如果剛好有類似的疑惑,不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
分享文章:使用Python怎么爬取豆瓣電影名
網(wǎng)頁(yè)網(wǎng)址:http://www.2m8n56k.cn/article4/jssgoe.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供微信公眾號(hào)、軟件開(kāi)發(fā)、響應(yīng)式網(wǎng)站、全網(wǎng)營(yíng)銷推廣、電子商務(wù)、
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:[email protected]。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)