表示 进入内容 1 去 4
Displaying posts with tag: emr (reset)
Feb
02
2018
自建hadoop集群迁移到EMR之数据迁移篇
Posted by mysql-云栖社区 on Fri 02 Feb 2018 02:57 UTC
Tags:

自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。

# 前置 已按需求创建好EMR集群。

# 迁移hdfs数据 主要依靠distcp,核心是打通网络，确定hdfs参数和要迁移内容，测速，迁移。 ## 网络 需要自建集群和EMR各个节点网络互通。同为VPC网络只需要同一个安全组，不同的安全组需要设置安全组互通。

如果

【mysql】  【RDS】  【hdfs】  【hadoop】  【SQL】   …

[获取更多]
Jan
18
2018
自建hadoop集群迁移到EMR之数据迁移篇
Posted by mysql-云栖社区 on Thu 18 Jan 2018 07:47 UTC
Tags:

自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。 前置 已按需求创建好EMR集群。 迁移hdfs数据 主要依靠distcp,核心是打通网络，确定hdfs参数和要迁移内容，测速，迁移。

【mysql】  【RDS】  【hdfs】  【hadoop】  【SQL】  【数据库】  【配置】   …

[获取更多]
Jan
04
2018
使用EMR来进行mysqlbinlog日志准实时传输
Posted by mysql-云栖社区 on Thu 04 Jan 2018 02:40 UTC
Tags:

如何利用阿里云的sls插件功能和emr来进行mysql binlog的准实时传输

【大数据】  【实时系统】  【OSS】  【mysql】  【hadoop】  【日志】  【SLS】  【Apache】  【数据库】   …

[获取更多]
Dec
21
2017
熊猫直播：大视频数据业务的云上历程
Posted by mysql-云栖社区 on Thu 21 Dec 2017 10:04 UTC
Tags:

在海量数据的大视频行业，如何满足大数据需求？12月20日举办的北京云栖大会“企业云上业务优化”分论坛上，熊猫直播大数据技术专家卢圣刚，分享了熊猫直播不断优化云上资源，建立起灵活配置、高扩展性、易于运维的云上架构的宝贵经验。

【大数据】  【redis】  【架构】  【MongoDB】  【mysql】  【云栖大会】   …

[获取更多]
表示 进入内容 1 去 4