表示 进入内容 19
Displaying posts with tag: storm (reset)
知识点

1、mysql分库分表策略,mysql集群2、异常监控,上报3、ump监控4、jimdb原理5、jsf原理 1、jdk常用类库2、集合3、锁4、多线程5、NIO6、网络7、分布式系统设计8、soa,主流soa框架9、分布式缓存10、消息队列11、分布式中间件原理及使用12、spring13、spr...

【linux】  【分布式】  【redis】  【监控】  【storm】  【消息队列】   …

[获取更多]
Storm概念学习系列之storm的定时任务

 至于为什么,有storm的定时任务。这个很简单。但是,这个在工作中非常重要!       假设有如下的业务场景   这个spoult源源不断地发送数据,boilt呢会进行处理。然后呢,处理后的结果,假设要写到mysql里面。

【大数据】  【storm】  【mysql】  【数据库】   点击查看原文>

Kafka实战-数据持久化

1.概述   经过前面Kafka实战系列的学习,我们通过学习《Kafka实战-入门》了解Kafka的应用场景和基本原理,《Kafka实战-Kafka Cluster》一文给大家分享了Kafka集群的搭建部署,让大家掌握了集群的搭建步骤,《Kafka实战-实时日志统计流程》一文给大家讲解一个项目(或者说是系统)的整体流程,《Kafka实战-Flume到Kafka》一文给大家介绍了Kafka的数据生产过程,《Kafka实战-Kafka到Storm》一文给大家介绍了Kafka的数据消费,通过Storm来实时计算处理。

【redis】  【storm】  【mysql】   …

[获取更多]
日处理20亿数据,实时用户行为服务系统架构实践

携程实时用户行为服务作为基础服务,目前普遍应用在多个场景中,比如猜你喜欢(携程的推荐系统)、动态广告、用户画像、浏览历史等等。 以猜你喜欢为例,猜你喜欢为应用内用户提供潜在选项,提高成交效率。旅行是一项综合性的需求,用户往往需要不止一个产品。

【分布式】  【redis】  【架构】  【java】  【storm】  【mysql】   …

[获取更多]
如何基于日志,同步实现数据的一致性和实时抽取?

作者:王东 宜信技术研发中心架构师 目前就职于宜信技术研发中心,任架构师,负责流式计算和大数据业务产品解决方案。 曾任职于Naver china(韩国最大搜索引擎公司)中国研发中心资深工程师,多年从事CUBRID分布式数据库集群开发和CUBRID数据库引擎开发 http://www.cubrid.org/blog/news/cubrid-cluster-introduction/ 主题简介: DWS的背景介绍 dbus+wormhole总体架构和技术实现方案 DWS的实际运用案例 前言 大家好,我是王东,来自宜信技术研发中心,这是我来社群的第一次分享,如果有什么不足,请大家多多指正、包涵。

【大数据】  【storm】  【mysql】   …

[获取更多]
如何基于日志,同步实现数据的一致性和实时抽取?

本文根据DBAplus社群第85期线上分享整理而成   讲师介绍王东 宜信技术研发中心架构师  

目前就职于宜信技术研发中心,任架构师,负责流式计算和大数据业务产品解决方案。

曾任职于Naver china(韩国最大搜索引擎公司)中国研发中心资深工程师,多年从事CUBRID分布式数据库集群开发和CUBRID数据库引擎开发 http://www.

【大数据】  【storm】  【mysql】  【性能】  【日志】   …

[获取更多]
java,mysql,hadoop,cdh,hive,spark,ntp,zookeeper,kafka,storm,redis,flume,git 安装详解

 

 

顶部 ---------------------------------------------------------------------------------------------------------------------------------- 0.

【redis】  【java】  【storm】  【docker】  【mysql】  【hadoop】  【Apache】  【yum】   …

[获取更多]
由提交storm项目jar包引发对jar的原理的探索

序:在开发storm项目时,提交项目jar包当把依赖的第三方jar包都打进去提交storm集群启动时报了发现多个同名的文件错误由此开始了一段对jar包的深刻理解之路。

java.lang.

【java】  【storm】  【mysql】  【Apache】  【集群】  【plugin】  【hashmap】   …

[获取更多]
三:基于Storm的实时处理大数据的平台架构设计

一:元数据管理器==>元数据管理器是系统平台的“大脑”,在任务调度中有着重要的作用【1】什么是元数据?--->中介数据,用于描述数据属性的数据。--->具体类型:描述数据结构,数据的具体位置,数据间的依赖关系,数据的处理过程,数据的快照信息等。

【分布式】  【大数据】  【架构】  【storm】  【mysql】  【系统监控】   …

[获取更多]
表示 进入内容 19