随着业务的快速增长，数据库中表数据量迅速膨胀，业务高峰期开始出现慢SQL、锁表等性能问题，需要优化。结合切换成本与性能测试数据，我们选择通过将非分区表切换到分区表来降低数据库性能风险。 最后，我们在业务始终稳定运行的情况下完成了分区表的切换。

【大数据】  【mysql】  【innodb】  【性能】  【数据库】  【中间件】   …

随着IT技术的飞速发展，各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务。目前，医疗IT系统收集了大量极具价值的数据，但这些历史医疗数据并没有发挥出其应有的价值。为此，本文拟利用医院现有的历史数据，挖掘出有价值的基于统计学的医学规则、知识，并基于这些信息构建专业的临床知识库，提供诊断、处方、用药推荐功能，基于强大的关联推荐能力，极大地提高医疗服务质量，减轻医疗人员的工作强度。

【分布式】  【大数据】  【架构】  【MongoDB】   …

本文根据欧阳辰老师在〖2016 DAMS中国数据资产管理峰会〗现场演讲内容整理而成。  

讲师介绍 欧阳辰，超过15年的软件开发和设计经验，目前就职于小米公司，负责小米广告平台的架构研发。 曾为微软公司工作10年，担任高级软件开发主管，领导团队参与微软搜索索引和搜索广告平台的研发工作。

【大数据】  【架构】  【mysql】  【hbase】  【数据库】   …

一  定时计划任务

1、概论

mysql计划任务可以定时更新数据库表或者做大文件的汇总表。

2、配置

开启计划任务

SHOW VARIABLES LIKE 'event_scheduler' 查看是否开启 off 表示未开启 set global event_scheduler =1 

【云栖社区】  【大数据】  【架构】  【mysql】  【innodb】  【SQL】   …

Sphinx是一款基于SQL的高性能全文检索引擎，Sphinx的性能在众多全文检索引擎中也是数一数二的，利用Sphinx，我们可以完成比数据库本身更专业的搜索功能，而且可以有很多针对性的性能优化。

Sphinx的特点 快速创建索引：3分钟左右即可创建近100万条记录的索引，并且采用了增量索引的方式，重建索引非常迅速。

【云栖社区】  【大数据】  【性能优化】  【mysql】  【SQL】   …

MySQL大数据量快速插入方法和语句优化是本文我们主要要介绍的内容，接下来我们就来一一介绍，希望能够让您有所收获！

一、INSERT语句的速度

插入一个记录需要的时间由下列因素组成，其中的数字表示大约比例：

连接：（3） 发送查询给服务器：（2） 分析查询：（2） 插入记录：（1x记录大小） 插入索引：（1x索引） 关闭：（1）

这不考虑打开表的初始开销，每个并发运行的查询打开。

【大数据】  【服务器】  【mysql】  【函数】   …

在很多MYSQL环境中，对于MYSQL的分布式事物处理一直是个难题，在当前互联网环境中，大多数应用系统是基于SOA的很多复杂接口之间的调用，并且事物之间的处理优先级也是有先后的，所以对于实际入库的数据而言，不同的系统，对于当前入库的处理方式是不一样的，这样就衍生出了对于订阅MYSQL消息的需求。

【云栖社区】  【分布式】  【消息系统】  【大数据】  【架构】   …

早期做培训的时候，很少有学员来问我数据量的事情，因为大家的数据量都比较小，这几年来不同了，经常有学员来问我：老师，作者的数据有300多万，怎么办？还有学员说，我们要做客户画像，数据量有1000多万，我们平时都是放在MySQL里面做的。

【云栖社区】  【大数据】  【mysql】  【函数】  【HTTPS】  【数据库】   …

数据分析师都想使用数据库作为数据仓库处理并操作数据，那么哪一款数据库比较合适分析师呢？虽然网上已经有很多对各种数据库进行比较的文章，但其着眼点一般都是架构、成本、可伸缩性和性能，很少考虑另一个关键因素：分析师在这些数据库上编写查询的难易程度。

【云栖社区】  【大数据】  【PostgreSQL】  【mysql】  【性能】  【SQL】   …

互联网就像空气，彻底的融入我们的生活之中。因此我们愈发习惯把越来越多的数据保存在网上以换取更便捷的服务。不过，随之而来的安全事件无不让人触目惊心。 回忆2015年整年发生的数据泄露事件，2015年一月机锋论坛包括用户名、邮箱、加密密码的2300万用户信息泄漏。

【大数据】  【安全】  【mysql】  【Oracle】  【数据库】  【安全机制】   …