序言第1章 Scrapy介绍第2章 理解HTML和XPath第3章 爬虫基础 第4章 从Scrapy到移动应用第5章 快速构建爬虫第6章 Scrapinghub部署第7章 配置和管理第8章 Scrapy编程 第9章 使用Pipeline第10章 理解Scrapy的性能第11章（完） Scrapyd分布式抓取和实时分析

在上一章，我们学习了如何辨析Scrapy中间件。

【python】  【redis】  【mysql】  【函数】  【线程】  【数据库】   …

折腾了几天，终于完成了第一个web开发项目，其中乐趣多多，坑也是巨多，听我娓娓道来之前，按例给大家上网站链接：

简书推荐作者可视化

由于本人使用的腾讯学生机（小霸王），请稍作等待，不想等待的小伙伴们，直接看下图：

统计

罗罗攀

搜索

项目概述 本项目结合数据的采集、预处理、存储、使用等技术，利用Python语言实现功能，展示了简书推荐作者相应的统计信息，本人的信息以及推荐作者的查询功能。

【mysql】  【Django】  【web】   …

scrapy爬大众点评餐厅信息。利用scrapy的css选择器和xpath选择器解析网页，利用django的orm保存数据到mysql，项目github地址：https://github.com/jjzhu-ncu/Jpider

【python】  【mysql】  【Django】  【爬虫】  【scrapy】  【大众点评】   点击查看原文>

此篇文章为转载，只供学习，有很多问题，如没有解决分布式去重问题。最好还是用scrapy-redis给出的例子代码

前言 scrapy是Python界出名的一个爬虫框架。Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

虽然scrapy能做的事情很多，但是要做到大规模的分布式应用则捉襟见肘。有

【python】  【分布式】  【redis】  【mysql】   …

   1 如果没有看过scrapy的朋友，可以到scrapy的官网看一下再来看这篇文章         2 创建一个scrapy的项目，请看http://blog.

【python】  【mysql】  【函数】  【http】  【数据库】  【pipeline】  【class】  【scrapy】   …