Crawler

进行商品信息和评论的爬取

用法

在项目中引入爬虫,示例:

keywords = ['手机', 'Phone']
from taobao_crawler.crawler import Crawler
crawler = Crawler(keywords, db)

Crawler(keywords, db) 中的 db 参见 DB

运行商品信息爬虫

crawler.item.run()

运行商品评论爬虫

crawler.rate.run()

运行商品信息及评论爬虫

crawler.run()

存入 mongodb 的数据范例参见 Item Crawler, Rate Crawler

类属性

class crawler.Crawler(keywords, db, timeout=3)

Bases: object

淘宝商品及评论爬虫

__init__(keywords, db, timeout=3)

初始化 Crawler 类

参数:

• keywords – 搜索的关键词 list，如 [‘手机’,’Phone’]
• db – 一个 pymongo.MongoClient.db 的实例
• timeout – 爬取超时时间, 默认值为 3

run()

运行商品及评论爬虫