使用gevent,可以对并发多个http请求的爬虫程序进行很好的优化, 缺点是,安装相对麻烦,这个包依赖于libevent,在windows下面用easy_install直接安装是不行的,必须用源代码包

  • wget http://pypi.python.org/packages/source/g/gevent/gevent-0.13.8.tar.gz
  • tar zxvf gevent-0.13.8.tar.gz
  • cd gevent
  • 里面有个fetch_libevent.py 用来帮你下载libevent依赖
  • python fetch_libevent.py
  • python setup.py build
  • python setup.py install

这样可以安装成功,如果还不行,只能使用大杀器了windows下安装python模块的终极解决方案

本文地址: http://lutaf.com/57.htm 鲁塔弗原创文章,欢迎转载,请附带原文链接