Spider

用于获取电影信息和影院信息的爬虫脚本

使用的框架

Pyspider

Pyspider的安装（Ubuntu环境下）

1，环境依赖的安装

• sudo apt-get install python-dev
• sudo apt-get install python-distribute
• sudo apt-get install libcurl4-openssl-dev
• sudo apt-get install libxml2-dev
• sudo apt-get install libxslt1-dev
• sudo apt-get install python-lxml

2，Pyspider的安装

• pip install pyspider
• sudo apt-get install phantonjs（用于渲染页面js脚本的库）

运行爬虫脚本

• 在命令行中输入指令pyspider
• 在浏览器中访问本地的5000端口
• create一个新的爬虫项目，将脚本代码复制粘帖到网页中的代码区
• 回到主界面，将项目状态改为running，点击run按钮，运行脚本