python爬虫最重要的是什么
爬虫可以干什么？
爬虫可以干什么？
1、收集数据
python 爬虫程序可用于收集数据。这也是最直接和最常用的方法。由于爬虫序是一个程序,程序运行得非常快,不会因为重复的事情而感到疲倦 因此使用爬虫程序获取大量数据变得非常简单和快速。
2.刷流量和秒杀
刷流量是 python 爬虫的自带的功能。当一个爬虫访问一个网站时，如果爬虫隐藏得很好，网站无法识别访问来自爬虫，那么它将被视为正常访问。结果，爬虫“不小心”刷了网站的流量。
除了刷流量外，还可以参与各种秒杀活动，包括但不限于在各种电商网站上抢商品。
python爬虫框架哪个好用？
框架用scrapy。
模块推荐requests xpath或者requests bs4。requests是爬取，xpath或者bs4是解析页面。
如果是简单爬取几万张以内页面，requests就能搞定，几十万张用scrapy。再往上就要考虑分布式爬虫了，scrapyd。
你可以看我的回答里面有关于爬虫方面的内容