Sqoop是Hadoop生态里，实现Hive、Hbase等大数据数据库与MySQL、Oracle导入导出的工具。 其实就是包含两部分功能：（1）HDFS的读写能力（2）加载JDBC。

【云栖社区】  【大数据】  【mysql】  【hadoop】  【path】  【配置】  【测试】  【sqoop】   …

1. 准备 1.1 apache-hive-2.1.0-bin.tar.gz包 1.2 mysql中创建新的数据库hive

2. 解压 3. 修改环境变量 vim /etc/profile

export HIVE_HOME=xxxx export PATH=$PATH:$HIVE_HOME/bin

然后刷新配置source /etc/profile 4. 修改配置文件 首先需要下载并把mysql-connector-java-5.1.17.jar拷贝到hive/lib目录下,作为驱动要用到。

【mysql】  【hadoop】  【配置】  【reduce】  【Hive】  【class】   …

sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。

1. 下载并解压 2. 修改配置文件 2.1 进入/sqoop/conf目录 mv sqoop-env-template.

【服务器】  【mysql】  【hadoop】  【Apache】  【数据库】  【path】  【配置】   …

资源列表：

关系数据库管理系统（RDBMS）

框架

分布式编程

分布式文件系统

文件数据模型

Key -Map 数据模型

键-值数据模型

图形数据模型

NewSQL数据库

列式数据库

时间序...

【云栖社区】  【编程语言】  【数据存储与数据库】  【分布式】  【大数据】  【架构】   …

依然记得2017年6月11日，阿里云总裁胡晓明在云栖大会·上海峰会上宣布正式启动中国云厂商首个全球最有价值技术贡献者项目——阿里云 MVP计划，瞬间全场沸腾的情景。时隔一年，阿里云齐聚各行业阿里云 MVP， 将他们沉淀的精品内容以行业系列《MVP TIME》分享给数字化转型进程中的个人与企业用户。

【大数据】  【mysql】  【innodb】  【hadoop】  【线程】   …

Hive2安装详解

【大数据】  【mysql】  【hadoop】  【LOG】  【Apache】  【配置】  【xml】  【Hive】  【schema】   …

自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。

# 前置 已按需求创建好EMR集群。

# 迁移hdfs数据 主要依靠distcp,核心是打通网络，确定hdfs参数和要迁移内容，测速，迁移。 ## 网络 需要自建集群和EMR各个节点网络互通。同为VPC网络只需要同一个安全组，不同的安全组需要设置安全组互通。

如果

【mysql】  【RDS】  【hdfs】  【hadoop】  【SQL】   …

自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。 前置 已按需求创建好EMR集群。 迁移hdfs数据 主要依靠distcp,核心是打通网络，确定hdfs参数和要迁移内容，测速，迁移。

【mysql】  【RDS】  【hdfs】  【hadoop】  【SQL】  【数据库】  【配置】   …

Hive是Hadoop生态中的一个重要组成部分，主要用于数据仓库。前面的文章中我们已经搭建好了Hadoop的群集，下面我们在这个群集上再搭建Hive的群集。 1.安装MySQL 1.1安装MySQL Server 在Ubuntu下面安装MySQL的Server很简单，只需要运行： sudo apt-get install mysql-server 系统会把MySQL下载并安装好。

【mysql】  【hadoop】  【ubuntu】  【数据库】  【配置】  【JDBC】   …

如何利用阿里云的sls插件功能和emr来进行mysql binlog的准实时传输

【大数据】  【实时系统】  【OSS】  【mysql】  【hadoop】  【日志】  【SLS】  【Apache】  【数据库】   …