随着互联网快速发展，我们的结构化关系数据库在高并发、海量数据的情况下面临单机扩展性问题，首先是单机数据库容量瓶颈，单机数据库在业务高速增长的情况下依赖硬件升级也会到达天花板，并且使用成本变得非常高，而且扩展性的复杂性也是比较高，传统数据库扩容往往意味着服务中断，很难做到业务无感知或者少感知。

【云栖社区】  【分布式】  【阿里云】  【mysql】  【RDS】   …

最近在做本地同步至云的脚本 使用kettle的话,几百个表的同步要一一设置,实在是蛋疼的紧 还好python可以解决一部分问题,所以写了个转换

【数据存储与数据库】  【python】  【mysql】  【同步】  【脚本】   点击查看原文>

我们通常说的双机热备是指两台机器都在运行，但并不是两台机器都同时在提供服务。当提供服务的一台出现故障的时候，另外一台会马上自动接管并且提供服务，而且切换的时间非常短。MySQL双主复制，即互为Master-Slave(只有一个Master提供写操作)，可以实现数据库服务器的热备，但是一个Master宕机后不能实现动态切换。

【mysql】  【高可用】  【配置】  【同步】  【scope】   …

9月份TOPDB Top Database Index排行榜出炉，TOPDB Top Database Index是根据数据库在谷歌上的搜索频率分析得出的，数据库被搜索的频率越大，表示数据库越受欢迎。

【android】  【mysql】  【程序员】  【Oracle】  【数据库】  【同步】  【索引】   …

来源：http://www.cnblogs.com/lanxuezaipiao/archive/2013/05/27/3101883.html 现 在云计算已经算不上一个新鲜词了，各大IT公司的产品都会套上一个“云”字来忽悠用户。

【linux】  【服务器】  【mysql】  【Apache】  【根目录】  【模块】  【数据库】   …

  Heartbeat+DRBD+NFS+Keepalived+Lnmp  

       对于网站服务器来说，可靠性之重要不用我多说，但要想做到可靠性一般需要昂贵的设备，这里最主要是就是数据同步用的共享磁盘了，磁盘柜+磁盘一共下来是20多万，这对于追求最高性价比的双机负载热备方案来说是极其不靠谱的，尤其是中小型企业，私有企业，一般经理是不会考虑这么高的成本的。

【nginx】  【服务器】  【mysql】  【数据库】   …

Mysql的读写分离可以使用MySQL Proxy和Amoeba实现，其实也可以使用MySQL-MMM实现读写分离的自动切换。MySQL Proxy有一项强大功能是实现"读写分离"，基本原理是让主数据库处理写方面事务，让从库处理SELECT查询；Amoeba for MySQL是一款优秀的中间件软件，同样可以实现读写分离，负载均衡等功能。

【服务器】  【mysql】  【线程】  【数据库】  【Lua】  【同步】   …

  binlog二进制日志对于mysql数据库的重要性有多大，在此就不多说了。下面根据本人的日常操作经历，并结合网上参考资料，对binlog日志使用做一梳理： 一、binlog日志介绍1）什么是binlog binlog日志用于记录所有更新了数据或者已经潜在更新了数据（例如，没有匹配任何行的一个DELETE）的所有语句。

【mysql】  【性能】  【日志】  【线程】  【数据库】   …

Logstash与Elasticsearch的安装就不多说了，我之前有两篇文章写的比较详细了ElasticSearch + Logstash + Kibana 搭建笔记 和 Filebeat+Logstash+ElasticSearch+Kibana搭建Apache访问日志解析平台。

【mysql】  【SQL】  【数据库】  【配置】  【logstash】  【同步】  【string】   …

今天在使用Logstash的jdbc_input插件同步Mysql数据时，本来应该能搜索出10条数据，结果在Elasticsearch中只看到了4条，终端中只给出了如下信息 [2017-08-25T13:31:04,084][INFO ][logstash.pipeline ]Pipeline terminated ”main”> 看不出所以然，到 logstash 的日志 logs 目录下看最新的日志，发现了一些信息。

【mysql】  【日志】  【logstash】  【同步】  【exception】  【pipeline】   …