标签 PostgreSQL , debezium , kafka , CDC

背景 在业务系统中，会涉及到多个数据源的数据流转，例如在线系统的数据流转到分析系统、流计算系统、搜索引擎、缓存系统、事件处理系统等。

【数据存储与数据库】  【分布式】  【PostgreSQL】  【消息队列】  【Greenplum】  【mysql】  【HTTPS】   …

Scut是一个开源、免费、稳定、快速开发的游戏服务器引擎，支持开发人员使用Python脚本语言或C#语言开发，底层采用C#编写，基于MVC框架思想设计，开发人员只需要关注如何定义数据实体类及属性，不再需要关注多据库(MSSQL、MySql等)及表设计，Scut会帮助您自动检测生成相应数据库的表结构。

【python】  【服务器】  【mysql】  【模块】  【数据处理】   …

前言 随着互联网DT时代的高速发展，业界需要简单高效的数据处理方式在海量数据中挖掘价值，企业厂商和开源界目前较流行的的做法，是提供支持类SQL接口的数据库服务，或者是提供SDK接口的数据处理平台服务。

在SQL接口的数据库服务中，传统的关系数据库，如MySQL、PG等，处理海量数据显得越来越力不从心，既无法突破单机硬件资源限制，又无法并行利用多机硬件资源；大数据NewSQL数据库，必须依赖外部数

【大数据】  【阿里云】  【mysql】  【RDS】   …

携程实时用户行为服务作为基础服务，目前普遍应用在多个场景中，比如猜你喜欢（携程的推荐系统）、动态广告、用户画像、浏览历史等等。 以猜你喜欢为例，猜你喜欢为应用内用户提供潜在选项，提高成交效率。旅行是一项综合性的需求，用户往往需要不止一个产品。

【分布式】  【redis】  【架构】  【java】  【storm】  【mysql】   …

报表的数据源如何组织？数据链路是怎样？怎样快捷方便的拿到数据？

【mysql】  【性能】  【数据处理】  【数据分析】  【同步】  【报表】  【存储】  【MaxCompute】   …

公安行业存在数以万计的前后端设备，前端设备包括相机、检测器及感应器，后端设备包括各级中心机房中的服务器、应用服务器、网络设备及机房动力系统，数量巨大、种类繁多的设备给公安内部运维管理带来了巨大挑战。传统通过ICMP/SNMP、Trap/Syslog等工具对设备进行诊断分析的方式已不能满足实际要求，由于公安内部运维管理的特殊性，现行通过ELK等架构的方式同样也满足不了需要。

【分布式】  【大数据】  【架构】  【消息队列】   …

在过去的几个月里，Yelp一直在不断地向大家分享着他们的数据管道的情况(文章列表见页尾)。这是一套基于Python的工具，可以实时地将数据流向需要它们的服务，并随之加以必要的数据处理。这一系列的文章讲述了如何从MySQL中将消息复制出来、如何跟踪模式的变化及演进、并最终分享了如何把数据接入到Redshift和Salesforce等不同类型的目标存储。

【python】  【mysql】  【数据处理】  【数据库】  【pipeline】   …

要成为优秀的程序员，数据结构和算法是必修的内容。而现在的Web程序员使用传统算法和数据结构都比较少，因为很多算法都是包装好的，不用我们去操心具体的实现细节，如PHP的取栈操作array_pop,进栈操作array_push，都有指定的库函数，导致我们对基础算法的研究越来越少，最后成为一个工具的傀儡而已。

【php】  【算法】  【mysql】  【程序员】  【数据处理】   …

作为系列文章的第六篇，本文将重点探讨数据处理层中数据仓库的建设。在第二篇运营数据系统一文，有提到早期的数据服务中存在不少问题，虽然在做运营Dashboard系统时，对后台数据服务进行了梳理，构建了数据处理的底层公共库等，但是仍然存在一些问题： 中间数据流失，计算结果没有共享。

【python】  【mysql】  【innodb】  【数据处理】  【创业】   …

根据Evans数据公司提供的数据，全世界大约有1900万开发人员。而2015年StackOverflow开发者调查显示，36% 的开发人员最近使用过SQL。也就是说，现如今大约有700万开发人员使用SQL。

【redis】  【PostgreSQL】  【NOSQL】  【mysql】  【Oracle】  【性能】  【SQL】   …