Planet MySQL

Displaying posts with tag: hadoop (reset)

Nov

2017

hadoop2.6.0（单节点）下Sqoop-1.4.6安装与配置（数据读取涉及hadoop、hbase和hive）

Posted by mysql-云栖社区 on Mon 13 Nov 2017 05:26 UTC
Tags:

Apache, database, hadoop, server, hbase, sqoop, Hive, MySQL, Zookeeper, 配置, 大数据, 集群

下载Sqoop http://sqoop.apache.org/ 　　或 http://archive-primary.cloudera.com/cdh5/cdh/5/ （这个就是版本已经对应好了，不需去弄版本兼容问题了）　　或通过CM、Ambari 很多同行，也许都知道，对于我们大数据搭建而言，目前主流，分为Apache 和 Cloudera 和 Ambari。

【大数据】【mysql】【hbase】【hadoop】【Apache】 …

[获取更多]

Nov

2017

为什么选择Sqoop？（三）

Posted by mysql-云栖社区 on Mon 13 Nov 2017 05:26 UTC
Tags:

postgresql, Oracle, html, hadoop, sqoop, MySQL, 数据库, 配置, 大数据, 数据类型

为什么选择 Sqoop？　　通常基于三个方面的考虑： 1、它可以高效、可控地利用资源，可以通过调整任务数来控制任务的并发度。另外它还可以配置数据库的访问时间等等。 2、它可以自动的完成数据类型映射与转换。

【大数据】【PostgreSQL】【mysql】【hadoop】【Oracle】【数据库】 …

[获取更多]

Nov

2017

Azkaban2.5安装部署（系统时区设置 + 安装和配置mysql + Azkaban Web Server 安装 + Azkaban Executor Server安装 + Azkaban web server插件安装 + Azkaban Executor Server 插件安装）（博主推荐）（

Posted by mysql-云栖社区 on Mon 13 Nov 2017 03:13 UTC
Tags:

Web, hadoop, server, jetty, MySQL, 配置, 插件

　　准备这四个

Azkaban 2.5安装

系统时区设置

安装和配置mysql

Azkaban Web Server 安装

Azkaban Executor Server安装

启动验证

Azkaban web server插件安装...

【mysql】【hadoop】【web】【配置】【Server】【插件】 …

[获取更多]

Nov

2017

一个码农的工作总结

Posted by mysql-云栖社区 on Sun 12 Nov 2017 12:26 UTC
Tags:

Java, Linux, innodb, myisam, hadoop, MySQL, 数据库, 索引, 算法, 数据分析, 线程, 架构

java JVM的内存结构：包括虚拟机栈、本地方法栈、指令计数器、方法区、堆以及直接内存等，重点需要了解虚拟机栈和堆以及方法区。 class文件结构：实际工作中用的不多，不过了解这部分结构对理解虚拟机的工作机制有极大的帮助，强烈建议多了解，特别是常量池和方法列表的形式，不了解这些想升入学习java基本上是空谈。

【linux】【架构】【算法】【java】【mysql】 …

[获取更多]

Nov

2017

Hive的安装与MySQL结合

Posted by mysql-云栖社区 on Sun 12 Nov 2017 06:23 UTC
Tags:

hadoop, schema, Hive, MySQL, 数据库, create, 配置, 存储, 分区表

#HIVE可以在任意节点搭建，实验在master 链接：http://pan.baidu.com/s/1i4LCmAp 密码：302x hadoop+hive下载 ##原封不动的复制，必死无疑，请根据实际填写相关参数和路径 1、 Hive的基础设施 a、基于已经搭建好的hadoop b、下载h...

【mysql】【hadoop】【数据库】【配置】【Hive】【分区表】 …

[获取更多]

Nov

2017

sqoop同步mysql到hdfs

Posted by mysql-云栖社区 on Sun 12 Nov 2017 06:22 UTC
Tags:

Apache, hadoop, MapReduce, server, sqoop, MySQL, hdfs, 同步, create, 配置

链接：http://pan.baidu.com/s/1gfHnaVL 密码：7j12 mysql-connector version 5.1.32 若在安装版本过程遇到些问题，可参考http://dbspace.

【mysql】【hdfs】【hadoop】【Apache】【配置】【同步】【Server】【Create】 …

[获取更多]

Nov

2017

sqoop搭建

Posted by mysql-云栖社区 on Sun 12 Nov 2017 06:21 UTC
Tags:

Java, Apache, eclipse, jdbc, hadoop, server, jetty, sqoop, MySQL, hdfs, create, handler, 配置, servlet

sqoop版本1.99.7#此搭建过程在最后启动job的时候失败了，每个版本的差异性蛮大的。版本下载链接：http://pan.baidu.com/s/1pKYrusz 密码：7ib5 搭建sqoop之前，已经配置好了hadoop和java的环境当第一次启动后，KILL掉HADOOP进程后出现的各种问题，重启机器解决问题。

【java】【mysql】【hdfs】【hadoop】【Apache】【eclipse】 …

[获取更多]

Nov

2017

Hadoop Hive概念学习系列之hive三种方式区别和搭建、HiveServer2环境搭建、HWI环境搭建和beeline环境搭建（五）

Posted by mysql-云栖社区 on Sun 12 Nov 2017 05:37 UTC
Tags:

sql, jdbc, hadoop, service, Hive, MySQL, 配置, 集群

说在前面的话　　以下三种情况，最好是在3台集群里做，比如，master、slave1、slave2的master和slave1都安装了hive，将master作为服务端，将slave1作为服务端。　以下，是针对CentOS版本的，若是Ubuntu版本，见我的博客 Ubuntu系统下安装并配置hive-2.

【mysql】【hadoop】【SQL】【配置】【集群】【JDBC】 …

[获取更多]

Nov

2017

hadoop插件sqoop使用案例

Posted by mysql-云栖社区 on Sat 11 Nov 2017 18:38 UTC
Tags:

hadoop, PATH, sqoop, MySQL, hdfs, 测试, 插件, 分布式文件系统

sqoop是hadoop项目中一个插件，可以把分布式文件系统hdfs中内容导入到mysql指定表里面，也可以把mysql中内容导入到hdfs文件系统中进行后续操作。

测试环境说明： hadoop版本：hadoop-0.20.2 sqoop版本：sqoop-1.2.0-CDH3B4 java版本：jdk1.7.0_67 mysql版本：5.1.65

特别说明：因为我安装的是hadoop-0.20.2版本，sqoop不支持这个版本，但是可以使用CDH3版本的hadoop，也可以通过copy相关文件，达到目的。

【mysql】【hdfs】【hadoop】【path】 …

[获取更多]

Nov

2017

利用python访问Hbase（Thrift模块安装与测试）

Posted by mysql-云栖社区 on Sat 11 Nov 2017 18:37 UTC
Tags:

Python, hadoop, hbase, sqoop, MySQL, 测试, 服务器, 模块, 脚本

hadoop环境介绍： master服务：node1 slave服务器：node2，node3，node4 mysql服务器：node29 Thrift安装在node1服务器上！

相关软件版本： hadoop版本：hadoop-0.

【python】【服务器】【mysql】【hbase】【hadoop】【模块】【测试】 …

[获取更多]

Oracle MySQL Blogs

MySQL 其他链接