scrapy爬大众点评餐厅信息。利用scrapy的css选择器和xpath选择器解析网页,利用django的orm保存数据到mysql,项目github地址:https://github.com/jjzhu-ncu/Jpider
【python】 【mysql】 【Django】 【爬虫】 【scrapy】 【大众点评】 点击查看原文>
Apr
26
2017
Apr
19
2017
生产上遇到问题, 同事说MYSQL里的字段放不下5m大小的数据。 于是,将django
model里textfield里的max_length变长了。 依然无效, 于是,更改mysql的设置: set global
max_allowed_packet = 2*1024*1024*10 或是设置文件my.cnf里:
max_allowed_packet = 20M 退出mysql再进入,查看是否生效: show VARIABLES like
'%max_allowed_packet%'; 解决问题。
【mysql】 【Django】 【variables】 点击查看原文>
Nov
20
2016
Aug
31
2016
Nov
19
2015
Jan
23
2015
Dec
29
2014
目录
1.1.1 生成查询
1.1.2 创建对象
1.1.3 保存修改的对象
1.1.4 保存 ForeignKey 和 ManyToManyField 字段
1.1.5 检索对象
1.1.6 检索所有的对象
1.1.7 过滤检索特定对象
1.1.8 链接过滤
1.1.9 过滤结果集是唯一
1.2.1 结果集是延迟的
1.2.2 其他的QuerySet方法
1.2.3 限制 QuerySets
1.2.4 字段查找
1.2.5 跨关系查询
1.2.6 过滤器可参考模型字段
1.2.7 缓存查询集
1.2.8 比较对象
1.2.9 删除对象
1.3.1 一次修改多个对象
1.3.2 关系对象
1.3.3 One-to-many关系
1.3.4 Many-to-many关系
1.3.5 One-to-one关系
1.1.1 生成查询
…
Mar
20
2014
Feb
05
2014
Jan
23
2014