客户需求:

某实体零售集团采集天猫超市、京东超市、永辉超市、盒马鲜生app的商品数据

需求要点:

  • 采集各app商品分类树,按分类结构进行商品采集
  • 采集商品全部主要信息,包括用户评价

项目难点:

  • app采集较网页采集更为困难
  • 数据量庞大,且是app采集,对爬虫机配置要求较高
  • 电商类app反爬机制严格,不易采集

解决方案:

  1. 千台云爬虫机集群,外接大量app采集客户端,保证采集效率
  2. 丰富的知名电商网站数据的采集经验,有效破解各种反爬验证手段