免費(fèi)注冊(cè) 登錄

超過1000,000域名在迅速網(wǎng)絡(luò)注冊(cè)

<    >

怎么用robots.txt快速抓取網(wǎng)站_迅速域名



  在我抓取網(wǎng)站遇到瓶頸,想劍走偏鋒去解決時(shí),常常會(huì)先去看下該網(wǎng)站的robots.txt文件,有時(shí)會(huì)給你打開另一扇抓取之門。

  
寫爬蟲有很多苦惱的事情,比如:
(推薦閱讀:服務(wù)器日志是什么,服務(wù)器日志對(duì)SEO有什么幫助)

  1.訪問頻次太高被限制;

  2.如何大量發(fā)現(xiàn)該網(wǎng)站的URL;

  3.如何抓取一個(gè)網(wǎng)站新產(chǎn)生的URL,等等;

  這些問題都困擾著爬蟲選手,如果有大量離散IP和賬號(hào),這些都不是問題,但是絕大部分公司都不具備這個(gè)條件的。

  我們?cè)诠ぷ髦袑懙呐老x大多是一次性和臨時(shí)性的任務(wù),需要你快速完成工作就好,當(dāng)遇到上面情況,試著看下robots.txt文件。

  舉個(gè)栗子

  老板給你布置一個(gè)任務(wù),把豆瓣每天新產(chǎn)生的影評(píng),書評(píng),小組帖子,同城帖子,個(gè)人日志抓取下來。

  初想一下,這任務(wù)得有多大,豆瓣有1.6億注冊(cè)用戶,光是抓取個(gè)人日志這一項(xiàng)任務(wù),每個(gè)人的主頁你至少每天要訪問一次。

  這每天就得訪問1.6億次,小組/同城帖子等那些還沒算在內(nèi)。

  設(shè)計(jì)一個(gè)常規(guī)爬蟲,靠著那幾十個(gè)IP是完不成任務(wù)的。

  初窺robots.txt

  當(dāng)老板給你了上面的任務(wù),靠著你這一兩桿槍,你怎么完成,別給老板講技術(shù),他不懂,他只想要結(jié)果。

  我們來看下豆瓣的robots.txt

  https://www.douban.com/robots.txt



  看圖片上面紅框處,是兩個(gè)sitemap文件

  打開sitemap_updated_index文件看一下:



  里面是一個(gè)個(gè)壓縮文件,文件里面是豆瓣頭一天新產(chǎn)生的影評(píng),書評(píng),帖子等等,感興趣的可以去打開壓縮文件看一下。

  也就是說每天你只需要訪問這個(gè)robots.txt里的sitemap文件就可以知道有哪些新產(chǎn)生的URL。

  不用去遍歷豆瓣網(wǎng)站上那幾億個(gè)鏈接,極大節(jié)約了你的抓取時(shí)間和爬蟲設(shè)計(jì)復(fù)雜度,也降低了豆瓣網(wǎng)站的帶寬消耗,這是雙贏啊,哈哈。

  上面通過robots.txt的sitemap文件找到了抓取一個(gè)網(wǎng)站新產(chǎn)生URL的偏方。沿著該思路也能解決發(fā)現(xiàn)網(wǎng)站大量URL的問題。

  再舉個(gè)栗子

  老板又給你一個(gè)任務(wù),老板說上次抓豆瓣你說要大量IP才能搞定抓豆瓣每天新產(chǎn)生的帖子,這次給你1000個(gè)IP把天眼查上的幾千萬家企業(yè)工商信息抓取下來。

  看著這么多IP你正留著口水,但是分析網(wǎng)站后發(fā)現(xiàn)這類網(wǎng)站的抓取入口很少(抓取入口是指頻道頁,聚合了很多鏈接的那種頁面)。

  很容易就把儲(chǔ)備的URL抓完了,干看著這么多IP工作不飽滿。

  如果一次性能找到這個(gè)網(wǎng)站幾萬乃至幾十萬個(gè)URL放進(jìn)待抓隊(duì)列里,就可以讓這么多IP工作飽滿起來,不會(huì)偷懶了。

  我們來看他的robots.txt文件:

  https://www.tianyancha.com/robots.txt




  打開紅框處的sitemap,里面有3萬個(gè)公司的URL,上圖是1月3號(hào)生成的,那個(gè)URL是根據(jù)年月日生成的,你把URL改成1月2號(hào),又能看到2號(hào)的sitemap里的幾萬個(gè)公司URL,這樣就能發(fā)現(xiàn)十幾萬個(gè)種子URL供你抓取了。

  PS:上面的sitemap其實(shí)也能解決抓取天眼查最近更新的,新產(chǎn)生URL的問題。

  小小的一個(gè)取巧,既降低了爬蟲設(shè)計(jì)的復(fù)雜度,又降低了對(duì)方的帶寬消耗。

  這在工作中非常適用,工作中不會(huì)在意你用的框架多好,只在意你做事的快慢和好壞。善于看robots.txt文件你會(huì)發(fā)現(xiàn)一些別有洞天的東西。

  文章出處:【AI科技大本營(yíng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。更多
SEO工具
資訊,盡在
聚名
資訊站!

聚名    2019-02-18 15:22:12



上一篇 (Google將對(duì)外開放.dev頂級(jí)域名注冊(cè)_迅速域名)   下一篇 (美國(guó)云主機(jī)商CloudCone評(píng)測(cè)介紹_迅速域名)


產(chǎn)品優(yōu)勢(shì)

迅速域名注冊(cè)始終以滿足顧客為己任

特點(diǎn)功能

為更多企業(yè)提供強(qiáng)有力的技術(shù)支持,助力業(yè)務(wù)飛速拓展

域名資訊

我們誠(chéng)心邀您分享我們的成長(zhǎng)經(jīng)歷

域名常見問題

讓您進(jìn)一步深入了解域名常見問題

合作伙伴

15年不間斷服務(wù),更值得信賴