q: 单机版的hive
在hadoop中自己写map/reduce代码，分析文本文件， 开发效率不高，
于是有了hive，只要定义好表结构，然后就可以直接用sql语句来分析文本文件，效率大大提升。
在单机linux上呢？如果要分析一个文本文件，通常是用awk，或者py/php? 开发速度也不快
于是就有了q，可以用sql语句来分析文本文件，表结构都不用提前定义的。
https://github.com/harelba/q
[大硬盘][zhaokunyao@ tpcc-mysql]$ ls -l >exampledatafile
[大硬盘][zhaokunyao@ tpcc-mysql]$ cat exampledatafile
总用量 368
-rw-rw-r--. 1 zhaokunyao zhaokunyao 1621 8月 8 16:08 add_fkey_idx.sql
-rw-rw-r--. 1 zhaokunyao zhaokunyao 317 8月 8 16:08 count.sql
-rw-rw-r--. 1 zhaokunyao zhaokunyao 3105 8月 8 16:08 create_table.sql
-rw-rw-r--. 1 zhaokunyao zhaokunyao 763 8月 8 16:08 drop_cons.sql … |
使用sqoop把mysql数据导入hive
export HADOOP_COMMON_HOME=/hadoop export HADOOP_MAPRED_HOME=/hadoop cp /hive/lib/mysql-connector-java-5.1.25-bin.jar /sqoop/lib/ |
share表第一列为自增主键 share_id，share_id<1000的数据共有999条：
mysql> SELECT COUNT(*) FROM share WHERE share_id<1000;
+----------+
| COUNT(*) |
+----------+
| 999 |
+----------+
1 ROW IN SET (0.00 sec)
|
使用sqoop导入到hive
[hduser@www lib]$ /sqoop/bin/sqoop import --connect jdbc:mysql://localhost/shipincon --table share --username root --password xxx --hive-import --where "share_id<1000" -- --default-character-set=utf8
Warning: /usr/lib/hbase does not exist! HBase imports will fail.
Please set $HBASE_HOME to the root of your HBase installation. … |