本文根据欧阳辰老师在〖2016 DAMS中国数据资产管理峰会〗现场演讲内容整理而成。  

讲师介绍 欧阳辰，超过15年的软件开发和设计经验，目前就职于小米公司，负责小米广告平台的架构研发。 曾为微软公司工作10年，担任高级软件开发主管，领导团队参与微软搜索索引和搜索广告平台的研发工作。

【大数据】  【架构】  【mysql】  【hbase】  【数据库】   …

前言 开源产品固然好，但是各种场景的数据需求确实多少有些差距，利用现有的软硬件资源面对现有的问题快速做出调整是才是数据库工程师的真正价值。

综述 key-value store由于本身实现不像成熟RDBMS那么复杂，换句话说开发周期不常，性能更是由于去掉了ACID的约束，从一个个benchmark上看对比起主流开源关系型数据库mysql innodb的曲线都非常好看，op/s号称高一个数量级的不是没有，request latency更是有redis类似的内存性数据库，在高并发的场景下99.95%响应在1ms以下一点也不惊奇。

【云栖社区】  【分布式】  【NOSQL】   …

本书能帮助开发者更方便地使用Hadoop，从而熟练地解决问题。读者会更加熟悉Hadoop相关的各种工具从而进行最佳的实践。

【MongoDB】  【Greenplum】  【mysql】  【hdfs】  【hadoop】  【HTTPS】  【Apache】  【集群】   …

早期做培训的时候，很少有学员来问我数据量的事情，因为大家的数据量都比较小，这几年来不同了，经常有学员来问我：老师，作者的数据有300多万，怎么办？还有学员说，我们要做客户画像，数据量有1000多万，我们平时都是放在MySQL里面做的。

【云栖社区】  【大数据】  【mysql】  【函数】  【HTTPS】  【数据库】   …

本节书摘来自华章出版社《R语言数据分析》一书中的第1章，第1.4节，作者盖尔盖伊·道罗齐（Gergely Daróczi），潘怡　译，更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.4　从数据库中导入数据 使用一个专用的数据库测试平台比根据需要从磁盘中导入文件效率要高很多，这是由数据

【linux】  【PostgreSQL】  【mysql】  【函数】  【Oracle】   …

作为系列文章的第六篇，本文将重点探讨数据处理层中数据仓库的建设。如何建设一个适于分析的数据存储系统，该系统的工作应该包含两部分：第一，根据需求抽象出数据模型；第二，按照数据模型的定义，从各个数据源抽取数据，进行清洗、处理后存储下来。 中间数据流失，计算结果没有共享。

【python】  【mysql】  【数据处理】  【创业】  【数据仓库】   …

      这篇文章来自一个公司内部的分享，是自己所服务的业务中数据平台的发展历程，已经讲了有几个月了，最近打算挑几个点拿出来用文章的形式写出来。是自己进入公司以来参与过或者接触过的数据型项目的情况。

【大数据】  【算法】  【mysql】  【hadoop】  【SQL】  【数据库】   …

我们一谈到数据分析，总离不开大数据，但要发挥大数据分析的真正价值并没有想象的那些容易，DMS倡导：不要等到把数据搞大了才分析。

【数据存储与数据库】  【大数据】  【监控】  【mysql】  【RDS】  【数据库】  【数据分析】   …

本文会介绍一个真实的全球性的中等规模的APP应用背后的技术选型与关键组件，涉及到高性能分布式系统、全球化网络布局、大数据平台与数据分析等关键技术。

【数据存储与数据库】  【移动开发与客户端】  【大数据】  【开发框架与中间件】  【分布式系统与计算】  【阿里云】  【mysql】   …

好好用MySQL和PostgreSQL不就行了？为啥阿里要劳神费力地又基于Greenplum的开源版本研发HybridDB方案？HybridDB方案深究之下，有什么技术细节与故事？本文将向您分享阿里与HybridDB的故事。

【分布式】  【PostgreSQL】  【Greenplum】  【阿里云】  【mysql】  【性能】  【数据库】   …