Planet MySQL

Displaying posts with tag: 离线计算 (reset)

Nov

2017

Posted by mysql-云栖社区 on Mon 20 Nov 2017 03:14 UTC
Tags:

Web, database, server, MySQL, 数据库, 服务器, 大数据, 架构, 主机, 工作流, 离线计算

Azkaban的架构 Azkaban是一种类似于Oozie的工作流控制引擎，可以用来解决多个Hadoop（或Spark等）离线计算任务之间的依赖关系问题。也可以用其代替crontab来对周期性任务进行调度，并且更为直观，可靠，同时提供了美观的可视化管理界面。

【大数据】【架构】【服务器】【mysql】【数据库】【web】 …

[获取更多]

Jul

2017

基于HybridDB for MySQL的企业ODS方案

Posted by mysql-云栖社区 on Tue 18 Jul 2017 04:13 UTC
Tags:

MySQL, 数据库, 同步, 大数据, 性能, 架构, 数据同步, 数据仓库, 在线分析, HTAP, 离线计算, petadata, ods

随着DT时代的到来，数据的价值日益凸显。企业积累的数据越来越多，数据库的规模也达到成百上千个实例，数据的规模更可能达到上百TB甚至PB级。如何以合理的成本管理并维护海量实例，利用尽可能短的时间窗口进行挖掘分析，成为各个企业IT管理中的核心问题。

【大数据】【架构】【mysql】【性能】【数据库】【数据仓库】 …

[获取更多]

Oct

2016

高并发简单解决方案————redis队列缓存+mysql 批量入库(ThinkPhP)

Posted by mysql-云栖社区 on Sat 29 Oct 2016 09:13 UTC
Tags:

PHP, log, redis, MySQL, 数据库, thinkphp, 高并发, 消息队列, 解决方案, 脚本, 离线计算

源码地址：https://github.com/Tinywan/PHP_Experience 问题分析

问题一：要求日志最好入库；但是，直接入库mysql确实扛不住，批量入库没有问题，done。【批量入库和直接入库性能差异】问题二：批量入库就需要有高并发的消息队列，决定采用redis list 仿真实现，而且方便回滚。

【php】【redis】【消息队列】【mysql】【LOG】【数据库】 …

[获取更多]

Oracle MySQL Blogs

MySQL 其他链接