采集是中国互联网高频操作,如果你不会编程,可以用"火车头"这样的软件,这个软件也是需要学习成本的,可能会有点复杂。程序员来做当然是自己编程,我一般用python写爬虫程序,偶尔用javascript,我以前见过一个码农用c++写,把网页clean/tidy之后强行用libxml构建document tree来解析,相当有想象力,估计是在某个搜索引擎工作。

  • 临时性采集某个页面
    直接用firefox打开网页,注入jquery,编写各种css选择器,然后用document.write来把结果写到网页上,复制出来

  • 采集确定数据 比如采集淘宝商品页上的价格信息,这种单一数据,用正则表达式就行

  • 采集循环数据
    这是指采集列表页,多条url,这种情况用BeautifulSoup 中文网页编码很杂,数据多半都不规范,经常会抛出异常,程序特别需要注意容错

  • 数据的存储 我先后用过文本文件,sqlite,mysql存放数据。我推荐使用直接mysql,这样后期迁移数据比较省事

  • 采集程序的组织 如果你只需要采集标题和正文,哪很简单,但是大部分采集都需要parse采集到的页面,转化成自己的数据库字段。但是由于网页结构很不规范,解析程序容易出现错误导致程序退出,所以采集程序最好分成2部分:

    1. 采集程序只干一件事情: 采集到 网页内容直接入库,数据表只包括2个字段:url,html
    2. 另外写一个解析程序: 从数据库中取出刚才存好的内容,解析提取你要的字段

参考

本文地址: http://lutaf.com/131.htm 鲁塔弗原创文章,欢迎转载,请附带原文链接