自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。 前置 已按需求创建好EMR集群。 迁移hdfs数据 主要依靠distcp,核心是打通网络，确定hdfs参数和要迁移内容，测速，迁移。

【mysql】  【RDS】  【hdfs】  【hadoop】  【SQL】  【数据库】  【配置】   …

日志服务 最近在原有30+种数据采集渠道 基础上，新增MySQL Binlog、MySQL select等数据库方案，仍然主打快捷、实时、稳定、所见即所得的特点。 以下我们以用户登录数据库作为案例，演示如何在10分钟内手把手完成从binlog采集到查询、告警、搭建报表等全过程，满足各个老板们的需求。

【mysql】  【日志】  【日志服务】  【数据库】  【查询】  【配置】   …

MySQL 同步卡死的假象

【数据存储与数据库】  【架构】  【mysql】  【线程】  【同步】  【索引】  【replication】   点击查看原文>

原文:MySQL Replication 主从复制全方位解决方案 1.1 主从复制基础概念 　　　　在了解主从复制之前必须要了解的就是数据库的二进制日志(binlog),主从复制架构大多基于二进制日志进行，二进制日志相关信息参考：http://www.

【架构】  【服务器】  【mysql】  【日志】  【线程】  【高可用】   …

1.1 主从复制基础概念 　　　　在了解主从复制之前必须要了解的就是数据库的二进制日志(binlog),主从复制架构大多基于二进制日志进行，二进制日志相关信息参考：http://www.cnblogs.

【架构】  【服务器】  【mysql】  【日志】  【线程】  【高可用】  【数据库】   …

Percona XtraDB Cluster（简称PXC集群）提供了MySQL高可用的一种实现方法。

PXC集群主要由两部分组成：Percona Server with XtraDB和Write Set Replication patches（使用了Galera library，一个通用的用于事务型应用的同步、多主复制插件）。

【linux】  【服务器】  【mysql】  【配置】  【cluster】  【集群】   …

一主多从是最常用的DB架构方案，该架构部署简单、维护方便，通过代理或程序的方式可实现rw splitting，且多个从库通过LVS或haproxy实现LB分担r的压力，排除了r的单点问题，但仅有一个主库这也是单点，若主出问题w将停止，最简单的方案人工介入，做监控，主一旦宕机，管理人员手动选择半同步...

【mysql】  【SSH】  【node】  【同步】  【HA】  【scope】   …

每年电商双11大促对阿里技术人都是一次大考，对阿里数据库团队更是如此。经过9年的发展，双11单日交易额从2009年的0.5亿一路攀升到2017年的1682亿，秒级交易创建峰值达到了32.5万笔/秒。支撑这一切业务指标的背后，是底层技术体系的一次次迭代升级。

【数据存储与数据库】  【分布式】  【架构】  【mysql】  【数据库】  【集群】   …

1、关于MHA（半成品框架）

MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。

【服务器】  【mysql】  【日志】  【高可用】  【配置】  【集群】   …

今年双11是X-DB的第一次大考，本次双11X-DB服务于天猫/淘宝核心交易系统、核心物流系统、核心IM系统，经受了零点业务32.5万笔/秒峰值的性能考验,同时X-DB支撑起了新一代单元化架构.

【分布式】  【算法】  【mysql】  【性能】  【日志】  【线程】  【高可用】   …