q: 单机版的hive
在hadoop中自己写map/reduce代码,分析文本文件, 开发效率不高,
于是有了hive,只要定义好表结构,然后就可以直接用sql语句来分析文本文件,效率大大提升。
在单机linux上呢?如果要分析一个文本文件,通常是用awk,或者py/php? 开发速度也不快
于是就有了q,可以用sql语句来分析文本文件,表结构都不用提前定义的。
https://github.com/harelba/q
[大硬盘][zhaokunyao@ tpcc-mysql]$ ls -l >exampledatafile [大硬盘][zhaokunyao@ tpcc-mysql]$ cat exampledatafile 总用量 368 -rw-rw-r--. 1 zhaokunyao zhaokunyao 1621 8月 8 16:08 add_fkey_idx.sql -rw-rw-r--. 1 zhaokunyao zhaokunyao 317 8月 8 16:08 count.sql -rw-rw-r--. 1 zhaokunyao zhaokunyao 3105 8月 8 16:08 create_table.sql -rw-rw-r--. 1 zhaokunyao zhaokunyao 763 8月 8 16:08 drop_cons.sql … |