环境准备 　　Java 　　Hadoop(Hdfs/Yarn)             Hadoop2.6.0（单节点）下安装Sqoop 　　第一步：上传sqoop的安装包，这里不多赘述。

[hadoop@djt002 sqoop]$ pwd /usr/local/sqoop [hadoop@djt002 sqoop]$ ls sqoop-1.

【mysql】  【hbase】  【hadoop】  【Apache】  【path】  【配置】  【Server】   …

1.概述 　　本课程的视频教程地址：《项目整体概述》 　　本节给大家分享的主题如下图所示：

　　下面我开始为大家分享第二节的内容——《项目整体概述》，下面开始今天的分享内容。 2.内容 　　从本节开始，我们将进入到Hadoop项目的整体概述一节学习，本节课程为大家介绍的主要知识点有一下内容，如下图所示：

　　下面，我们首先来看看项目的整体流程，其流程如下图所示：

　　项目流程可以分为4个模块，他们分别是数据收集，集群存储，分析计算和结果处理。

【mysql】  【hbase】  【hdfs】   …

把MySQL里的数据导入到HDFS 　　1、使用MySQL工具手工导入 　　把MySQL的导出数据导入到HDFS的最简单方法就是，使用命令行工具和MySQL语句。 为了导出整个数据表或整个数据库的内容，MySQL提供了mysqldump工具。

【大数据】  【mysql】  【hdfs】  【hadoop】  【数据库】  【JDBC】  【Hive】   …

下面我们结合 HDFS，介绍 Sqoop 从关系型数据库的导入和导出 一、MySQL里的数据通过Sqoop import HDFS 它的功能是将数据从关系型数据库导入 HDFS 中，其流程图如下所示。

【mysql】  【hdfs】  【hadoop】  【数据库】  【JDBC】  【Hive】  【test】   …

1.概述 　　在开发Hadoop的相关应用使用，在业务不复杂，任务不多的情况下，我们可以直接使用Crontab去完成相关应用的调度。今天给大家介绍的是统一管理各种调度任务的系统，下面为今天分享的内容目录： 内容介绍 Oozie Server 截图预览 　　下面开始今天的内容分享。

【mysql】  【hadoop】  【高可用】  【Maven】  【JDBC】  【service】   …

最近在用flume和sqoop来做非关系数据(日志)和关系数据(MYSQL)迁移到hdfs的工作，简单记录下使用过程，以此总结 一 flume的使用 使用flume把web的log日志数据导入到hdfs上 步骤 1 在 elephant 节点上 先安装...

【mysql】  【hdfs】  【hadoop】  【日志】  【配置】  【agent】  【JDBC】   …

一、需求     线上有几个实例，经常磁盘告警，之前每次人工删除，效率实在不高。 二、解决方法    登录跳板机执行脚本删除，不过在删除前，需要导出binary log日志和库表的的数据，最后把备份的传数据传到hdfs。

【mysql】  【hdfs】  【hadoop】  【数据库】  【DB】  【脚本】   …

  第六章 lvs负载均衡集群

6.1 lvs 核心ipvs

6.1.1 安装ipvs

6.1.2 lvs客户端

6.2 故障隔离、失败切换框架keepalived

6.2.

【监控】  【服务器】  【mysql】  【Nagios】  【hadoop】  【日志】  【数据库】   …

1.Overview 　　Ambari是Apache推出的一个集中管理Hadoop的集群的一个平台，可以快速帮助搭建Hadoop及相关以来组件的平台，管理集群方便。这篇博客记录Ambari的相关问题和注意事项。

【架构】  【监控】  【mysql】  【hadoop】  【模块】  【数据库】  【配置】   …

1.概述 　　在调度 Hadoop 的相关作业时，有以下几种方式： 基于 Linux 系统级别的 Crontab。 Java 应用级别的 Quartz。 第三方的调度系统。 自行开发 Hadoop 应用调度系统。

【mysql】  【hadoop】  【模块】  【web】  【配置】  【Server】  【database】   …