0、导读
用mysqldump备份数据时，加上 -w 条件选项过滤部分数据，发现导出结果比实际少了40万，什么情况？
本文约1500字，阅读时间约5分钟。
1、问题
我的朋友小文前几天遇到一个怪事，他用mysqldump备份数据时，加上了 -w 选项过滤部分数据，发现导出的数据比实际上少了40万。
要进行备份表DDL见下：
CREATE TABLE `oldbiao` (
`aaaid` int(11) NOT NULL,
`bbbid` int(11) NOT NULL,
`cccid` int(11) NOT NULL,
`time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
`dddid` int(11) DEFAULT NULL,
KEY `index01` (`ccccid`),
KEY `index02` (`dddid`,`time`)
) ENGINE=InnoDB DEFAULT …
[获取更多]0、导读
《炉石传说》游戏数据库回档事件反思
今天引爆各大技术群的事情就是网易游戏《炉石传说》游戏数据库发生宕机并引发数据丢失事故，最终决定回档并后续补偿玩家损失。详情可见官网公告：http://hs.blizzard.cn/articles/16/8565
我以前也在搜狐畅游（http://www.changyou.com，NASDAQ:CYOU）负责游戏数据库维护，也遇到过因为服务器故障最终导致回档的事故，不过都没像这次炉石搞这么大动作。在这里我并不想借机调侃消费他们或搞营销，只想和大家一起聊聊作为DBA，应该注意哪些事。
我们从公告的内容中，我们看到了几个问题：
公告发布时间是2017.1.18 18点，决定回档到2017.1.14 …
0、导读
用LOAD DATA导入数据却一直提示主键冲突问题解决案例。
1、问题描述
有位学生遇到数据导入时一直提示1022主键冲突问题，而导入的数据明明完全没有任何冲突，百思不得其解，请我帮忙协查。
下面是关于该问题现象描述：
1、表结构DDL
CREATE TABLE `wcp` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT,
`txcode` char(4) NOT NULL,
`notice_from` enum(‘page’,’server’) ,
`message` varchar(600) NOT NULL ,
`signature` varchar(260) NOT NULL ,
`payment_no` char(30) NOT NULL ,
`notice_time` int(10) unsigned NOT NULL COMMENT ,
`dealt_ok` tinyint(1) NOT NULL DEFAULT ‘0’ COMMENT,
PRIMARY KEY (`id`)
) ENGINE=ARCHIVE AUTO_INCREMENT=117 DEFAULT CHARSET=utf8;
…
[获取更多]0、导读
在slave上，发现SQL thread长时间处于Opening tables状态
1、问题描述
朋友的数据库，做了主从replication复制。在slave实例上，SQL thread的长时间处于Opening tables状态，复制进程异常。
mysql> show processlist;
+—-+————-+———-+——+———+——-+—————————————-+——————+
| Id | User | Host | db | Command | Time | State | Info |
+—-+————-+———-+——+———+——-+—————————————-+——————+
| 1 | system user | …
[获取更多]对于一般进程，要让进程崩溃时能生成 core file 用于调试，只需要设置 rlimit 的 core file size > 0 即可。比如，用在 ulimit -c unlimited 时启动程序。
对 MySQL 来说，由于 core file 中会包含表空间的数据，所以默认情况下为了安全，mysqld 捕获了 SEGV 等信号，崩溃时并不会生成 core file，需要在 my.cnf 或启动参数中加上 core-file。
但是即使做到了以上两点，在 mysqld crash 时还是可能无法 core dump。还有一些系统参数会影响 core dump。以下脚本可供参考：
echo 2 >/proc/sys/fs/suid_dumpable chmod 0777 /var/crash echo /var/crash/core> /proc/sys/kernel/core_pattern echo 1 >/proc/sys/kernel/core_uses_pid
由于 mysql 通常会以 suid 方式启动，所以需要打开 suid_dumpable 。对于 …
[获取更多]问题 修改了 my.cnf 配置文件后，却不生效，这是怎么回事？ 原因 我们注意到，这里只说了修改 my.cnf，并没有说清楚其绝对路径是哪个文件。也就是说，有可能修改的不是正确路径下的my.cnf文件。
在MySQL中，是允许存在多个 my.cnf
配置文件的，有的能对整个系统环境产生影响，例如：/etc/my.cnf。有的则只能影响个别用户，例如：~/.my.cnf。
MySQL读取各个my.cnf配置文件的先后顺序是：
/etc/my.cnf
/etc/mysql/my.cnf
/usr/local/mysql/etc/my.cnf
~/.my.cnf
其他自定义路径下的my.cnf，例如：/data/mysql/yejr_3306/my.cnf
…
[获取更多]问题解读
我觉得，这个问题每年带来的成本可以高达数十亿美元了。本文就来谈谈，假定我们有如下 SQL 模板语句：
select * from T where f1 = ‘{value1}’ and f2 = {value2}
现在我们需要根据用户输入值填充该语句：
value1=hello value2=5
我们得到了下面的 SQL 语句，我们再提交给数据库：
select * from T where f1=’hello’ and f2=5
问题在于，攻击者可以构造如下的用户输入值：
value1=anything’ or 1=1 or f1=’whatever value2=5
拼接好的最终语句就变成了：
select * from T where f1=’anything’ or 1=1 or f1=’whatever’ and f2=5
攻击者成功地改变了模板语句的语义。这种问题不单单发生在 SQL 上，还出现在通常使用模板的任何语言上，比如 HTML 和 shell 脚本。
常规解决方案的说明
…
[获取更多]在以前的文章中说过mysql的数据字典的恢复(使用工具直接抽取MySQL数据字典,缺少SYS_FIELDS表),主要的数据字典有一下几个，在本文中主要对这些数据字典的意义进行一些讲解，为大家更深一步了解mysql恢复处理思路
MySQL恢复字典表
mysql> show tables; +----------------+ | Tables_in_test | +----------------+ | SYS_COLUMNS | | SYS_FIELDS | | SYS_INDEXES | | SYS_TABLES | +----------------+ 4 rows in set (0.00 sec)
SYS_TABLES
这个表是mysql恢复的最核心的表之一，主要是记录数据库在InnoDB中表的信息。它默认写在InnoDB的index_ids为1的里面，它的根页在8号page上，他的主要列结构为：
mysql> desc SYS_TABLES; …[获取更多]
今天一个接到一个朋友求助，说是数据在运行中，数据库的目录被改了权限。如： 数据库目结构如下：
| 1 2 3 | datadir=/data/mysql/mysql3306/data log-bin=/data/mysql/mysql3306/logs tmpdir =/data/mysql/mysql3306/tmp |
被运维同步执行了：
| 1 | chown-R root:root/data/mysql/mysql3306 |
1.构建主从环境
| 1 2 3 4 | mysql;3306 主 /data/mysql/mysql3306/{data,tmp,logs} mysql;3307 从 /data/mysql/mysql3307/{data,tmp,logs} |
2. 在主的wubx库里创建：
| 1 2 3 4 5 | CREATE TABLE `t2` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(32) DEFAULT NULL, PRIMARY KEY (`id`) ) |
导读
在MySQL复制中，如何忽略slave节点上发生的主键冲突、数据不存在等错误。
在MySQL复制中，如果slave节点上遇到错误，比如数据不存在或者主键冲突等错误时，想要忽略这些错误，可以采用以下几种方法：
1、未启用GTID模式时
只需通过设定 SQL_SLAVE_SKIP_COUNTER 的值，即可忽略一些复制事件。例如：
#需要先关闭SLAVE服务
root@imysql.com [test]> STOP SLAVE;
#忽略N个事件(event)，通常一个SQL是一个事件
root@imysql.com [test]> SET SQL_SLAVE_SKIP_COUNTER=N;
#再次启动SLAVE服务
root@imysql.com [test]> START SLAVE;
2、启用GTID模式时
启用GTID，想要忽略某些错误事件就稍微麻烦一点点了。
…
[获取更多]