表示 进入内容 1118
« 先前的 10 新的记录
Displaying posts with tag: logstash (reset)
logstash-input-jdbc实现mysql 与elasticsearch实时同步深入详解

引言:

elasticsearch 的出现使得我们的存储、检索数据更快捷、方便。但很多情况下,我们的需求是:现在的数据存储在mysql、oracle等关系型传统数据库中,如何尽量不改变原有数据库表结构,将这些数据的insert,update,delete操作结果实时同步到elasticsearch(简称ES)呢?  本文基于以上需求点展开实战讨论。

【mysql】  【SQL】  【数据库】  【测试】  【logstash】   …

[获取更多]
logstash5.0版本之后导入es数据指定ik分词器详解

阅读此文请先阅读上文:[大数据]-Elasticsearch5.3.1 IK分词,同义词/联想搜索设置,前面介绍了ES,Kibana5.3.1的安装配置,以及IK分词的安装和同义词设置,这里主要记录Logstash导入mysql数据到Elasticsearch5.3.1并设置IK分词和同义词。

【mysql】  【数据库】  【配置】  【logstash】  【string】  【pipeline】   …

[获取更多]
elasticSearch数据导入工具logstash-input-jdbc 同步原理及相关问题解读

前言:

基于logstash-input-jdbc较其他插件的稳定性、易用性、版本和ES同步更新的特点,以下研究主要针对 logstash-input-jdbc 展开。

【mysql】  【SQL】  【logstash】  【同步】  【JDBC】  【Elasticsearch】  【插件】  【timestamp】   …

[获取更多]
利用Logstash插件进行Elasticsearch与Mysql的数据

Logstash与Elasticsearch的安装就不多说了,我之前有两篇文章写的比较详细了ElasticSearch + Logstash + Kibana 搭建笔记 和 Filebeat+Logstash+ElasticSearch+Kibana搭建Apache访问日志解析平台。

【mysql】  【SQL】  【数据库】  【配置】  【logstash】  【同步】  【string】   …

[获取更多]
Logstash使用jdbc_input同步Mysql数据时遇到的空时间SQLException问题

今天在使用Logstash的jdbc_input插件同步Mysql数据时,本来应该能搜索出10条数据,结果在Elasticsearch中只看到了4条,终端中只给出了如下信息 [2017-08-25T13:31:04,084][INFO ][logstash.pipeline ]Pipeline terminated ”main”> 看不出所以然,到 logstash 的日志 logs 目录下看最新的日志,发现了一些信息。

【mysql】  【日志】  【logstash】  【同步】  【exception】  【pipeline】   …

[获取更多]
基于Spark的公安大数据实时运维技术实践

公安行业存在数以万计的前后端设备,前端设备包括相机、检测器及感应器,后端设备包括各级中心机房中的服务器、应用服务器、网络设备及机房动力系统,数量巨大、种类繁多的设备给公安内部运维管理带来了巨大挑战。传统通过ICMP/SNMP、Trap/Syslog等工具对设备进行诊断分析的方式已不能满足实际要求,由于公安内部运维管理的特殊性,现行通过ELK等架构的方式同样也满足不了需要。

【分布式】  【大数据】  【架构】  【消息队列】   …

[获取更多]
广受IT人士欢迎的8个虚拟应用

摘要:这些虚拟设备包括广受欢迎的Web应用程序堆栈,两个博客平台,一个NAS服务器,以及用于网络和系统监控,日志搜索和报告以及安全网络访问的现成服务器。这是人们在VMware Solution Exchange和/或Bitnami和TurnKey Linux网站中应用中所发现的。

【linux】  【javascript】  【服务器】  【mysql】  【日志】  【windows】   …

[获取更多]
《ELK Stack权威指南(第2版)》一3.7 MySQL慢查询日志

本节书摘来自华章出版社《ELK Stack权威指南(第2版)》一书中的第3章,第3.7节,作者 饶琛琳  更多章节内容可以访问云栖社区“华章计算机”公众号查看。 

3.7 MySQL慢查询日志 MySQL有多种日志可以记录,常见的有error log、slow log、general log、bin log等。

【云栖社区】  【mysql】  【日志】  【LOG】  【性能监控】  【配置】   …

[获取更多]
表示 进入内容 1118
« 先前的 10 新的记录