从零开始写Python爬虫,四大工具你值得拥有!

[复制链接]
假如你正在进修编程,那末“爬虫”绝对是你不成轻忽的。那末,进修python爬虫之前需要哪些预备?

    一颗酷爱进修,不平不挠的心

    一台有键盘的电脑(什么系统都行。我用的os x,所以例子会以这个为准)

    html相关的一些常识。不需要精通,能懂一点就行

    Python的根本语法常识 。

从零起头写Python爬虫,四大工具你值得具有!-1.jpg

当这些你都具有了,这个时辰你需要进修:

0.根基的爬虫工作道理

1.根基的http抓取工具:scrapy

2.Bloom Filter: Bloom Filters by Example

3.假如需要大范围网页抓取,你需要进修散布式爬虫的概念。简单来说,你只要学会怎样保护一个一切集群机械可以有用分享的散布式行列就好。最简单的实现是python-rq: https://github.com/nvie/rq

4.rq和Scrapy的连系:darkrho/scrapy-redis · GitHub

5.后续处置:网页析取(grangier/python-goose · GitHub),存储(Mongodb)

从零起头写Python爬虫,四大工具你值得具有!-2.jpg

python的火,很大缘由就是各类好用的模块,这些模块是居家观光网站常备的——

NO.1 F12 开辟者工具

    看源代码:快速定位元素

    分析xpath:1、此处倡议谷歌系阅读器,可以在源码界面间接右键看

从零起头写Python爬虫,四大工具你值得具有!-3.jpg

NO.2 抓包工具

    保举httpfox,火狐阅读器下的插件,比谷歌火狐系自带的F12工具都要好,可以方便检察网站收包发包的信息

从零起头写Python爬虫,四大工具你值得具有!-4.jpg

NO.3 XPATH CHECKER (火狐插件)

从零起头写Python爬虫,四大工具你值得具有!-5.jpg

很是不错的xpath测试工具,不外也有几个小弱点,:

    xpath checker天生的是绝对途径,碰到一些静态天生的图标(常见的有列表翻页按钮等),飘忽不定的绝对途径很有能够形成毛病,所以这里倡议在真正分析的时辰,只是作为参考

    记得把以下图xpath框里的“x:”去掉,貌似这个是早期版本xpath的语法,今朝已经和一些模块不兼容(比如scrapy),还是删去避免报错。

从零起头写Python爬虫,四大工具你值得具有!-6.jpg

NO.4 正则表达测试工具

在线正则表达式测试 ,拿来多练练手,也帮助分析!里面有很多现成的正则表达式可以用,也可以停止参考!

从零起头写Python爬虫,四大工具你值得具有!-7.jpg
温馨提示:
好向圈www.kuaixunai.com是一个专业经验分享交流平台,你可以在这里发布专业经验,也可以发布需求与服务,禁止带推广链接、联系方式、违法词等,违规将封禁账号。 下载好向圈APP可以随时随地交流经验,也可以和圈友发起聊天成为好友哦!
如果想要各大搜索引擎收录,请使用秘塔写作猫进行内容伪原创
回复

使用道具 举报

已有(20)人评论

跳转到指定楼层
我是L_T_J 发表于 2020-7-30 08:18:02
学爬虫为了啥?如果是为了数据,回头问你这数据你想干什么?如果是为了学习建议你不要从爬虫开始学Python。
回复

使用道具 举报

包山林 发表于 2020-7-30 08:23:37
被拉黑了,网站无法登录[呲牙]
回复

使用道具 举报

吃了还吃帕 发表于 2020-7-30 08:30:32
xpath我选lxml
回复

使用道具 举报

angel萌萌0315 发表于 2020-7-30 08:37:25
转发不看系列
回复

使用道具 举报

冰海蓝玫劝 发表于 2020-7-30 08:39:38
小编有钱啊,请了那么多人帮你转发。
回复

使用道具 举报

烙印772 发表于 2020-7-30 08:43:22
回复

使用道具 举报

水月小主 发表于 2020-7-30 08:45:02
转发了
回复

使用道具 举报

雕花烟斗1 发表于 2020-7-30 08:47:39
trip
回复

使用道具 举报

吴画师缘 发表于 2020-7-30 08:53:26
转发了
回复

使用道具 举报

悲惨秋风uw 发表于 2020-7-30 08:59:26
转发了
回复

使用道具 举报

jj8001 发表于 2020-7-30 09:00:38
转发了
回复

使用道具 举报

帝抱通 发表于 2020-7-30 09:03:41
转发了
回复

使用道具 举报

沉默遗忘忘f 发表于 2020-7-30 09:07:33
转发了
回复

使用道具 举报

红豆的冬天屏 发表于 2020-7-30 09:10:14
转发了
回复

使用道具 举报

sansans3 发表于 2020-7-30 09:14:45
转发了
回复

使用道具 举报

人追斯 发表于 2020-7-30 09:18:24
转发了
回复

使用道具 举报

谢岳 发表于 2020-7-30 09:20:57
转发了
回复

使用道具 举报

哎呀这酸爽 发表于 2020-7-30 09:25:11
转发了
回复

使用道具 举报

123472939 发表于 2020-7-30 09:26:42
转发了
回复

使用道具 举报

出州休慢萨 发表于 2020-7-30 09:32:06
转发了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本圈子积分规则