一、需求 一个朋友接到一个需求，从大数据平台收到一个数据写入在20亿+，需要快速地加载到MySQL中，供第二天业务展示使用。 二、实现再分析 对于单表20亿， 在MySQL运维，说真的这块目前涉及得比较少，也基本没什么经验，但对于InnoDB单表Insert 如果内存大于数据情况下，可以维持在10万-15万行写入。

【大数据】  【算法】  【mysql】  【innodb】  【性能】   …

EF架构系列主是我在项目开发中，总结出现的一些经验性的东西，拿出来与大家分享，哪块与的有问题，还请大家指出来，然后我们一些再去讲究！ EF架构~系列目录 第一回　　EF架构~了解一下,ADO.NET Entity Framework 第二回　　EF架构~终于自己架构了一个相对完整的ＥＦ方案 第三回...

【大数据】  【架构】  【mysql】  【性能】  【数据库】  【排序】   …

Mycat是什么 Mycat - 数据库分库分表中间件，国内最活跃的、性能最好的开源数据库中间件！

一个彻底开源的，面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库，用来替...

【分布式】  【大数据】  【架构】  【java】  【监控】  【mysql】   …

介绍

sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库（比如mysql,oracle）导入到hdfs中；也可以把数据从hdfs中导出到关系型数据库中。

【大数据】  【mysql】  【hdfs】  【hadoop】  【数据库】  【Mapreduce】  【sqoop】   …

QQ用得起来越少了，现在就加入300+技术微信群，公众号回复"微信群"即可加入。

image

image

image

这是某微信群友个人付费购买的高级教程，现在分享出来，直接在下方公众号中回复：视频 申明：本视频内容与本公众号无任何关系，仅供学习交流使用。

【分布式】  【大数据】  【架构】  【java】  【mysql】  【hadoop】   …

Elasticsearch作为大数据场景下搜索和分析的引擎，广泛应用于实时数据分析等场景。本文作者梳理了从MySQL准实时同步数据到Elasticsearch的实操步骤，帮助开发者理解和快速上手。

【云栖社区】  【数据存储与数据库】  【大数据】  【信息检索算法/实践】  【mysql】  【HTTPS】  【ECS】   …

说到数据库，很多人都会想到MY Sql、SQL Server及oracle等等，同时很都人首选MY SQL，因为MY SQL是免费的，而且数据包也比较小，安装快捷方便，而SQL Server是收费的，是微软的产品，收费相当高，一般很少用，除非大数据，当然在资金满足的情况下会选择oracle数据库了...

【大数据】  【mysql】  【SQL】  【windows】  【数据库】  【数据迁移】   …

相信动态列的实现困扰了很多人，大数据量，多字段的加载将会非常耗时，数据又做不到真正的动态灵活。现有的方式都是通过变向的隐藏等方式来实现。 那该如何解决呢？这里分享帆软报表设计器FineReport的实现方案，结合实际工作中遇到的的相关内容。

【大数据】  【mysql】  【函数】  【数据库】  【测试】  【报表】   …

添加分支

git branch

git branch test1.0

切换分支

git checkout

git checkout test1.0

添加分支并切换

git checkout -b

git checkout -b test1.0

查看所有分支

git branch

$ git branch * master test1.0

删除分支

git branch -d

git branch -d test1.0

合并分支 合并到主干。

【分布式】  【大数据】  【架构】  【java】  【mysql】   …

Sphinx是由俄罗斯人Andrew Aksyonoff开发的一个全文检索引擎。意图为其他应用提供高速、低空间占用、高结果 相关度的全文搜索功能。Sphinx可以非常容易的与SQL数据库和脚本语言集成。

【大数据】  【mysql】  【LOG】  【数据库】  【索引】  【test】  【海量数据】   …