大数据

来自刘东华的维基
跳转至: 导航搜索

概述

大数据平台架构与开发记录,电商方向。

功能

  1. 监控销量
  2. 监控差评
  3. 动态调价(平台api)
  4. 关键词排名。前期可通过搜索关键词,模拟用户浏览产品来提升产品排名。

工具

  • 数据库:HBase
  • 开发语言:Python为主
  • 数据展示:Wordpress + MySQL

技术罗列

网页爬虫

参考:http://cuiqingcai.com/1052.htmlhttp://www.zhidaow.com/post/python-seo1

phantomjs and selenium

phantomjs

phantomjs从http://phantomjs.org/download.html下载即可使用。selenium依赖phantomjs。

selenium

  1. 安装:easy_install selenium
  2. 文档:http://selenium-python.readthedocs.io/


用法