phantomjs教程 selenium加phantomjs速度慢怎么办?

[更新]
·
·
分类:互联网
3246 阅读

phantomjs教程

selenium加phantomjs速度慢怎么办?

selenium加phantomjs速度慢怎么办?

  大概有两种思路:
一、通过监视网络请求发现加载慢的资源然后设法阻止掉,刚看了一眼stackoverflow,有人提供了方法,但是感觉略繁琐,愿意尝试的话自行搜索关键字selenium block;
二、换个思路,只要想要的资源加载了就停止加载,粗看了一下selenium的文档好像没有直接提供这样的等待策略,不过可以通过设置加载时间然后捕获超时异常然后执行js代码停止页面加载。

为什么很多爬虫用python,用PHP不行吗?

php也是可以做爬虫的,而且在网页展现上来说,比python还要方便!之所以用python做爬虫,很多时候还兼顾了一个问题,就是大数据处理!爬下来的数据还能顺便做分析。
另外就是,php属于服务器语言,单从环境的架设上来说,会比python复杂。虽然说现在很多一键搭建的软件可以快速的搭建php运行环境,但是在性能和维护上,我们并没办法把控。
而python就相对简单了许多,官方有相应的版本,完了还可以通过pip很容易的下载到各种需要的模块。再加上今年来python大火,各种各样的教程也层出不穷,各种功能的实现方法也被许多高手们分享出来。所以整个生态环境非常好,学习轻松,想实现的功能也很多例子。大大降低了开发成本。
这也是为什么这么多爬虫都是使用python的原因了。