<<<<<<< HEAD

扒虫 - Novel crawler

这是一个用Python写的小说爬虫软件。

欢迎各位提出意见和指正，帮助完善软件。 提出问题反馈

下载

发行版

源码

安装运行

1. 下载 dist.zip
2. 解压缩至任意文件夹
3. 运行start.bat。或运行server.exe，并打开浏览器 http://127.0.0.1:5000

---

依赖

Python

1. Python 3.5.1
2. BeautifulSoup 4.4.1
3. Flask 0.11

HTML

1. HTML 5
2. Ajax
3. jQuery v2.2.4
4. Bootstrap 3.3.6

---

写这个软件的原因

• 无聊
• 网上小说阅读软件捆绑太多，还是自己写的放心
• 学了Python，却一直没实际用过，练下手

---

近期目标

1. 完成小说搜索算法
2. 完成简单的基于浏览器的阅读框架
3. 充实搜索库

---

测试

测试版

许可证

MIT

python爬虫实战日记

本仓库记录零基础学习python爬虫，所有探索与尝试

• 仓库地址
  
• 相应博客地址：简书

一、入门篇

• 糗事百科
  
• 百度帖吧
  
• pixabay图片网站
  
• pexels图片网
  
• info社区
  
• 教务网
  
• 拉勾
  
• 豆瓣
  

二、进阶篇

• 抓取手机App数据
  
• 断点续爬

三、框架篇（Scrapy)

• scrapy爬多级网页及图片（一般方法)
  
• scrapy爬多级网页及图片（ImagesPipeline)
  scrapy之存储：
  
• App抓取并存入MongoDB
  
• 断点续爬并存入MySQL
  

其它待更

aa31030d3451a24368f4c993d5e20204d9e298a2