表示 进入内容 213042
« 先前的 10 新的记录 | 下一步 10 较早的记录 »
Displaying posts with tag: spark (reset)
TiDB 助力一面数据实现消费领域的决策分析平台

2017年架构师最重要的48个小时 | 8折倒计时

深圳市一面网络技术有限公司(下称:一面数据)是一家为消费领域的领导企业提供实时、精准、全面的数据洞察和决策指导的创新型企业,利用人工智能和算法,进行自然语言处理,语义情感分析,回归预测模型等,帮助客户实现精准产品运营和预测市场变化。

【架构】  【MongoDB】  【mysql】  【性能】  【数据库】   …

[获取更多]
如何基于日志,同步实现数据的一致性和实时抽取?

作者:王东 宜信技术研发中心架构师 目前就职于宜信技术研发中心,任架构师,负责流式计算和大数据业务产品解决方案。 曾任职于Naver china(韩国最大搜索引擎公司)中国研发中心资深工程师,多年从事CUBRID分布式数据库集群开发和CUBRID数据库引擎开发 http://www.cubrid.org/blog/news/cubrid-cluster-introduction/ 主题简介: DWS的背景介绍 dbus+wormhole总体架构和技术实现方案 DWS的实际运用案例 前言 大家好,我是王东,来自宜信技术研发中心,这是我来社群的第一次分享,如果有什么不足,请大家多多指正、包涵。

【大数据】  【storm】  【mysql】   …

[获取更多]
使用Apache Spark和MySQL打造强大的数据分析

借助真实案例和代码样本,本文作者展示了如何将Sparke和MySQL结合起来,创造数据分析上的强大工具。 Apache Spark是一个类似Apache Hadoop的集群计算框架,在Wikipedia上有大量描述:Apache Spark是一个开源集群计算框架,出自加州大学伯克利分校的AMPLab,后被捐赠给了Apache软件基金会。

【分布式】  【大数据】  【mysql】  【hadoop】  【函数】  【Apache】   …

[获取更多]
大数据项目实践:基于hadoop+spark+mongodb+mysql+c#开发医院临床知识库系统

从20世纪90年代数字化医院概念提出到至今的20多年时间,数字化医院(Digital Hospital)在国内各大医院飞速的普及推广发展,并取得骄人成绩。不但有数字化医院管理信息系统(HIS)、影像存档和通信系统(PACS)、电子病历系统(EMR)和区域医疗卫生服务(GMIS)等成功实施与普及推广,而且随着日新月异的计算机技术和网络技术的革新,进一步为数字化医院带来新的交互渠道譬如:远程医疗服务,网上挂号预约。

【分布式】  【大数据】  【架构】  【MongoDB】   …

[获取更多]
基于Spark的公安大数据实时运维技术实践

公安行业存在数以万计的前后端设备,前端设备包括相机、检测器及感应器,后端设备包括各级中心机房中的服务器、应用服务器、网络设备及机房动力系统,数量巨大、种类繁多的设备给公安内部运维管理带来了巨大挑战。传统通过ICMP/SNMP、Trap/Syslog等工具对设备进行诊断分析的方式已不能满足实际要求,由于公安内部运维管理的特殊性,现行通过ELK等架构的方式同样也满足不了需要。

【分布式】  【大数据】  【架构】  【消息队列】   …

[获取更多]
Hadoop+Spark 大数据开发项目最佳实践

随着IT技术的飞速发展,各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务。目前,医疗IT系统收集了大量极具价值的数据,但这些历史医疗数据并没有发挥出其应有的价值。为此 ,本文拟利用医院现有的历史数据,挖掘出有价值的基于统计学的医学规则、知识,并 基于这些信息构建专业的临床知识库,提供诊断、处方、用药推荐功能,基于强大的关联推荐能力,极大地提高医疗服务质量,减轻医疗人员的工作强度。

【分布式】  【大数据】  【架构】  【mysql】   …

[获取更多]
Spark Streaming 妙用之实现工作流调度器

之前有说过要设计一个工作流调度器。开发一个完善的工作流调度器应该并不是一件简单的事情。但是通过Spark Streaming(基于Transfomer架构的理念),我们可能能简化这些工作。我在这块并没有什么经验,这只是一个存在于脑海中的东西。

【架构】  【mysql】  【高可用】  【基础设施】  【web】  【spark】   …

[获取更多]
最全大数据学习资源整理

关系数据库管理系统(RDBMS)

  MySQL:世界最流行的开源数据库; PostgreSQL:世界最先进的开源数据库; Oracle 数据库:对象-关系型数据库管理系统。 框架 Apache Hadoop:分布式处理架构,结合了 MapReduce(并行处理)、YARN(作业调度)和HDFS(分布式文件系统); Tigon:高吞吐量实时流处理框架。

【分布式】  【大数据】  【数据可视化】  【mysql】  【hbase】   …

[获取更多]
史上最全“大数据”学习资源整理

史上最全“大数据”学习资源整理 2016-05-17 Hadoop技术博文

  当前,整个互联网正在从IT时代向DT时代演进,大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义,它更代表着信息技术发展进入了一个新的时代,代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难,代表着大数据处理所需的新的技术和方法,也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。

【分布式】  【大数据】  【mysql】   …

[获取更多]
如何基于日志,同步实现数据的一致性和实时抽取?

本文根据DBAplus社群第85期线上分享整理而成   讲师介绍王东 宜信技术研发中心架构师  

目前就职于宜信技术研发中心,任架构师,负责流式计算和大数据业务产品解决方案。

曾任职于Naver china(韩国最大搜索引擎公司)中国研发中心资深工程师,多年从事CUBRID分布式数据库集群开发和CUBRID数据库引擎开发 http://www.

【大数据】  【storm】  【mysql】  【性能】  【日志】   …

[获取更多]
表示 进入内容 213042
« 先前的 10 新的记录 | 下一步 10 较早的记录 »