Planet MySQL

Displaying posts with tag: emr (reset)

Feb

2018

自建hadoop集群迁移到EMR之数据迁移篇

Posted by mysql-云栖社区 on Fri 02 Feb 2018 02:57 UTC
Tags:

sql, hadoop, RDS, Hive, MySQL, hdfs, 数据库, 同步, 配置, 集群, 阿里技术协会, 数据迁移, 脚本, 安全组, emr

自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。

# 前置已按需求创建好EMR集群。

# 迁移hdfs数据主要依靠distcp,核心是打通网络，确定hdfs参数和要迁移内容，测速，迁移。 ## 网络需要自建集群和EMR各个节点网络互通。同为VPC网络只需要同一个安全组，不同的安全组需要设置安全组互通。

如果

【mysql】【RDS】【hdfs】【hadoop】【SQL】 …

[获取更多]

Jan

2018

自建hadoop集群迁移到EMR之数据迁移篇

Posted by mysql-云栖社区 on Thu 18 Jan 2018 07:47 UTC
Tags:

sql, hadoop, RDS, Hive, MySQL, hdfs, 数据库, 同步, 配置, 集群, 数据同步, 数据迁移, 脚本, 安全组, emr

自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。前置已按需求创建好EMR集群。迁移hdfs数据主要依靠distcp,核心是打通网络，确定hdfs参数和要迁移内容，测速，迁移。

【mysql】【RDS】【hdfs】【hadoop】【SQL】【数据库】【配置】 …

[获取更多]

Jan

2018

使用EMR来进行mysqlbinlog日志准实时传输

Posted by mysql-云栖社区 on Thu 04 Jan 2018 02:40 UTC
Tags:

Apache, OSS, hadoop, MySQL, 数据库, 日志, 配置, 大数据, spark, 集群, aliyun, 控制台, 实时系统, emr, SLS

如何利用阿里云的sls插件功能和emr来进行mysql binlog的准实时传输

【大数据】【实时系统】【OSS】【mysql】【hadoop】【日志】【SLS】【Apache】【数据库】 …

[获取更多]

Dec

2017

熊猫直播：大视频数据业务的云上历程

Posted by mysql-云栖社区 on Thu 21 Dec 2017 10:04 UTC
Tags:

mongodb, redis, MySQL, 大数据, 架构, 集群, 云栖大会, 开源大数据, 钉钉, e-mapreduce, emr, 服务专场, 熊猫直播, 大视频数据, 7x24小时支持

在海量数据的大视频行业，如何满足大数据需求？12月20日举办的北京云栖大会“企业云上业务优化”分论坛上，熊猫直播大数据技术专家卢圣刚，分享了熊猫直播不断优化云上资源，建立起灵活配置、高扩展性、易于运维的云上架构的宝贵经验。

【大数据】【redis】【架构】【MongoDB】【mysql】【云栖大会】 …

[获取更多]

Oracle MySQL Blogs

MySQL 其他链接