分享|四大常用爬虫模块，你不来看看吗

python的火，很大原因就是各种好用的模块，这些常用爬虫模块模块是居家旅行爬网站常备的——

NO.1、常用爬虫模块——F12 开发者工具

看源代码：快速定位元素

分析xpath：1、此处建议谷歌系浏览器,可以在源码界面直接右键看

NO.2、常用爬虫模块——抓包工具

推荐httpfox，火狐浏览器下的插件,比谷歌火狐系自带的F12工具都要好，可以方便查看网站收包发包的信息

NO.3、常用爬虫模块——XPATH CHECKER (火狐插件)

非常不错的xpath测试工具，不过也有几个小缺点，：

xpath checker生成的是绝对路径，遇到一些动态生成的图标(常见的有列表翻页按钮等)，飘忽不定的绝对路径很有可能造成错误，所以这里建议在真正分析的时候，只是作为参考

记得把xpath框里的“x:”去掉，貌似这个是早期版本xpath的语法，目前已经和一些模块不兼容(比如scrapy)，还是删去避免报错。

NO.4、常用爬虫模块——正则表达测试工具

在线正则表达式测试 ，拿来多练练手，也辅助分析!里面有很多现成的正则表达式可以用，也可以进行参考!

以上就是常用爬虫模块。可能在刚讲解完这一实际应用之后，大家的印象还很模糊，不如打开电脑，那正好现在就上手操作一下，试一试吧!也许你还会发现更多python应用为您带来的乐趣环球网校的小编在这里希望这些信息可以对您有所帮助。