区块链技术博客
www.b2bchain.cn

日志系统了解吗?有哪些常见的解决方案?求职学习资料

本文介绍了日志系统了解吗?有哪些常见的解决方案?求职学习资料,有助于帮助完成毕业设计以及求职,是一篇很好的资料。

对技术面试,学习经验等有一些体会,在此分享。

因为日志系统在询问项目经历的时候经常会被问到,所以,我就写了这篇文章。

这是一篇日志系统常见概念的扫盲篇~不会涉及到具体架构的日志系统的搭建过程。旨在帮助对于日志系统不太了解的小伙伴,普及一些日志系统常见的概念。

我自己在公司接触日志系统的这块的经验不多,为了写这篇文章也是查阅了很多资料。如果有需要改进/完善的地方,还请小伙伴们在评论区指出,我们共同进步!

  • 日志系统扫盲
    • 何为日志?
    • 为何要用日志系统?
    • 一个最基本的日志系统要做哪些事情?
    • ELK 了解么?
      • EKL 老三件套
      • 新一代 ELK 架构

日志系统扫盲

何为日志?

在我看来,日志就是系统对某些行为的一些记录,这些行为包括:系统出现错误(定位问题、解决问题)、记录关键的业务信息(定位问题、解决问题)、记录操作行为(保障安全)等等。

按照较为官方的话来说:“日志是带时间戳的基于时间序列的机器数据,包括 IT 系统信息(服务器、网络设备、操作系统、应用软件)、物联网各种传感器信息。日志可以反映用户/机器的行为,是真实的数据”。

为何要用日志系统?

没有日志系统之前,我们的日志可能分布在多台服务器上。每次需要查看日志,我们都需要登录每台机器。然后,使用 grepwc 等 Linux 命令来对日志进行搜索。这个过程是非常麻烦并且耗时的!并且,日志量不大的时候,这个速度还能忍受。当日志量比较多的时候,整个过程就是非常慢。

从上面我的描述中,你已经发现,没有对日志实现集中管理,主要给我们带来了下面这几点问题:

  1. 开发人员登录线上服务器查看日志比较麻烦并且存在安全隐患
  2. 日志数据比较分散,难以维护,不方便检索。
  3. 日志数量比较大的时候,查询速度比较慢。
  4. 无法对日志数据进行可视化展示。

日志系统就是为了对日志实现集中管理。它也是一个系统,不过主要是负责处理日志罢了。

一个最基本的日志系统要做哪些事情?

为了解决没有日志系统的时候,存在的一些问题,一直最基本的 日志系统需要做哪些事情呢?

  1. 采集日志 :支持多种日志格式以及数据源的采集。
  2. 日志数据清洗/处理 :采集到的原始日志数据需要首先清洗/处理一波。
  3. 存储 :为了方便对清洗后的日志进行处理,我们可以对接多种存储方式比如 ElasticSearch(日志检索) 、Hadoop(离线数据分析)。
  4. 展示与搜素 :支持可视化地展示日志,并且能够根据关键词快速的定位到日志并查看日志上下文。
  5. 告警 :支持对接常见的监控系统。

我专门画了一张图,展示一下日志系统处理日志的一个基本流程。

日志系统了解吗?有哪些常见的解决方案?

另外,一些比较高大上的日志系统甚至还支持 实时分析离线分析 等功能。

ELK 了解么?

ELK 是目前使用的比较多的一个开源的日志系统解决方案,背靠是 Elastic 这家专注搜索的公司。

EKL 老三件套

最原始的时候,ELK 是由 3 个开源项目的首字母构成,分别是 Elasticsearch 、Logstash、Kibana。

下图是一个最简单的 ELK 日志系统架构

日志系统了解吗?有哪些常见的解决方案?

我们分别来介绍一下这些开源项目以及它们在这个日志系统中起到的作用:

  • Logstash :Logstash 主要用于日志的搜集、分析和过滤,支持对多种日志类型进行处理。在 ELK 日志系统中,Logstash 负责日志的收集和清洗。
  • Elasticsearch :ElasticSearch 一款使用 Java 语言开发的搜索引擎,基于 **Lucence **。可以解决使用数据库进行模糊搜索时存在的性能问题,提供海量数据近实时的检索体验。在 ELK 日志系统中,Elasticsearch 负责日志的搜素。
  • Kibana :Kibana 是专门设计用来与 Elasticsearch 协作的,可以自定义多种表格、柱状图、饼状图、折线图对存储在 Elasticsearch 中的数据进行深入挖掘分析与可视化。 ELK 日志系统中,Logstash 主要负责对从 Elasticsearch 中搜索出来的日志进行可视化展示。

新一代 ELK 架构

ELK 属于比较老牌的一款日志系统解决方案,这个方案存在一个问题就是:Logstash 对资源消耗过高

于是, Elastic 推出了 Beats 。Beats 基于名为libbeat的 Go 框架,一共包含 8 位成员。

日志系统了解吗?有哪些常见的解决方案?

因为日志系统在询问项目经历的时候经常会被问到,所以,我就写了这篇文章。

这是一篇日志系统常见概念的扫盲篇~不会涉及到具体架构的日志系统的搭建过程。旨在帮助对于日志系统不太了解的小伙伴,普及一些日志系统常见的概念。

我自己在公司接触日志系统的这块的经验不多,为了写这篇文章也是查阅了很多资料。如果有需要改进/完善的地方,还请小伙伴们在评论区指出,我们共同进步!

  • 日志系统扫盲
    • 何为日志?
    • 为何要用日志系统?
    • 一个最基本的日志系统要做哪些事情?
    • ELK 了解么?
      • EKL 老三件套
      • 新一代 ELK 架构

日志系统扫盲

何为日志?

在我看来,日志就是系统对某些行为的一些记录,这些行为包括:系统出现错误(定位问题、解决问题)、记录关键的业务信息(定位问题、解决问题)、记录操作行为(保障安全)等等。

按照较为官方的话来说:“日志是带时间戳的基于时间序列的机器数据,包括 IT 系统信息(服务器、网络设备、操作系统、应用软件)、物联网各种传感器信息。日志可以反映用户/机器的行为,是真实的数据”。

为何要用日志系统?

没有日志系统之前,我们的日志可能分布在多台服务器上。每次需要查看日志,我们都需要登录每台机器。然后,使用 grepwc 等 Linux 命令来对日志进行搜索。这个过程是非常麻烦并且耗时的!并且,日志量不大的时候,这个速度还能忍受。当日志量比较多的时候,整个过程就是非常慢。

从上面我的描述中,你已经发现,没有对日志实现集中管理,主要给我们带来了下面这几点问题:

  1. 开发人员登录线上服务器查看日志比较麻烦并且存在安全隐患
  2. 日志数据比较分散,难以维护,不方便检索。
  3. 日志数量比较大的时候,查询速度比较慢。
  4. 无法对日志数据进行可视化展示。

日志系统就是为了对日志实现集中管理。它也是一个系统,不过主要是负责处理日志罢了。

一个最基本的日志系统要做哪些事情?

为了解决没有日志系统的时候,存在的一些问题,一直最基本的 日志系统需要做哪些事情呢?

  1. 采集日志 :支持多种日志格式以及数据源的采集。
  2. 日志数据清洗/处理 :采集到的原始日志数据需要首先清洗/处理一波。
  3. 存储 :为了方便对清洗后的日志进行处理,我们可以对接多种存储方式比如 ElasticSearch(日志检索) 、Hadoop(离线数据分析)。
  4. 展示与搜素 :支持可视化地展示日志,并且能够根据关键词快速的定位到日志并查看日志上下文。
  5. 告警 :支持对接常见的监控系统。

我专门画了一张图,展示一下日志系统处理日志的一个基本流程。

日志系统了解吗?有哪些常见的解决方案?

另外,一些比较高大上的日志系统甚至还支持 实时分析离线分析 等功能。

ELK 了解么?

ELK 是目前使用的比较多的一个开源的日志系统解决方案,背靠是 Elastic 这家专注搜索的公司。

EKL 老三件套

最原始的时候,ELK 是由 3 个开源项目的首字母构成,分别是 Elasticsearch 、Logstash、Kibana。

下图是一个最简单的 ELK 日志系统架构

日志系统了解吗?有哪些常见的解决方案?

我们分别来介绍一下这些开源项目以及它们在这个日志系统中起到的作用:

  • Logstash :Logstash 主要用于日志的搜集、分析和过滤,支持对多种日志类型进行处理。在 ELK 日志系统中,Logstash 负责日志的收集和清洗。
  • Elasticsearch :ElasticSearch 一款使用 Java 语言开发的搜索引擎,基于 **Lucence **。可以解决使用数据库进行模糊搜索时存在的性能问题,提供海量数据近实时的检索体验。在 ELK 日志系统中,Elasticsearch 负责日志的搜素。
  • Kibana :Kibana 是专门设计用来与 Elasticsearch 协作的,可以自定义多种表格、柱状图、饼状图、折线图对存储在 Elasticsearch 中的数据进行深入挖掘分析与可视化。 ELK 日志系统中,Logstash 主要负责对从 Elasticsearch 中搜索出来的日志进行可视化展示。

新一代 ELK 架构

ELK 属于比较老牌的一款日志系统解决方案,这个方案存在一个问题就是:Logstash 对资源消耗过高

于是, Elastic 推出了 Beats 。Beats 基于名为libbeat的 Go 框架,一共包含 8 位成员。

日志系统了解吗?有哪些常见的解决方案?

因为日志系统在询问项目经历的时候经常会被问到,所以,我就写了这篇文章。

这是一篇日志系统常见概念的扫盲篇~不会涉及到具体架构的日志系统的搭建过程。旨在帮助对于日志系统不太了解的小伙伴,普及一些日志系统常见的概念。

我自己在公司接触日志系统的这块的经验不多,为了写这篇文章也是查阅了很多资料。如果有需要改进/完善的地方,还请小伙伴们在评论区指出,我们共同进步!

  • 日志系统扫盲
    • 何为日志?
    • 为何要用日志系统?
    • 一个最基本的日志系统要做哪些事情?
    • ELK 了解么?
      • EKL 老三件套
      • 新一代 ELK 架构

日志系统扫盲

何为日志?

在我看来,日志就是系统对某些行为的一些记录,这些行为包括:系统出现错误(定位问题、解决问题)、记录关键的业务信息(定位问题、解决问题)、记录操作行为(保障安全)等等。

按照较为官方的话来说:“日志是带时间戳的基于时间序列的机器数据,包括 IT 系统信息(服务器、网络设备、操作系统、应用软件)、物联网各种传感器信息。日志可以反映用户/机器的行为,是真实的数据”。

为何要用日志系统?

没有日志系统之前,我们的日志可能分布在多台服务器上。每次需要查看日志,我们都需要登录每台机器。然后,使用 grepwc 等 Linux 命令来对日志进行搜索。这个过程是非常麻烦并且耗时的!并且,日志量不大的时候,这个速度还能忍受。当日志量比较多的时候,整个过程就是非常慢。

从上面我的描述中,你已经发现,没有对日志实现集中管理,主要给我们带来了下面这几点问题:

  1. 开发人员登录线上服务器查看日志比较麻烦并且存在安全隐患
  2. 日志数据比较分散,难以维护,不方便检索。
  3. 日志数量比较大的时候,查询速度比较慢。
  4. 无法对日志数据进行可视化展示。

日志系统就是为了对日志实现集中管理。它也是一个系统,不过主要是负责处理日志罢了。

一个最基本的日志系统要做哪些事情?

为了解决没有日志系统的时候,存在的一些问题,一直最基本的 日志系统需要做哪些事情呢?

  1. 采集日志 :支持多种日志格式以及数据源的采集。
  2. 日志数据清洗/处理 :采集到的原始日志数据需要首先清洗/处理一波。
  3. 存储 :为了方便对清洗后的日志进行处理,我们可以对接多种存储方式比如 ElasticSearch(日志检索) 、Hadoop(离线数据分析)。
  4. 展示与搜素 :支持可视化地展示日志,并且能够根据关键词快速的定位到日志并查看日志上下文。
  5. 告警 :支持对接常见的监控系统。

我专门画了一张图,展示一下日志系统处理日志的一个基本流程。

日志系统了解吗?有哪些常见的解决方案?

另外,一些比较高大上的日志系统甚至还支持 实时分析离线分析 等功能。

ELK 了解么?

ELK 是目前使用的比较多的一个开源的日志系统解决方案,背靠是 Elastic 这家专注搜索的公司。

EKL 老三件套

最原始的时候,ELK 是由 3 个开源项目的首字母构成,分别是 Elasticsearch 、Logstash、Kibana。

下图是一个最简单的 ELK 日志系统架构

日志系统了解吗?有哪些常见的解决方案?

我们分别来介绍一下这些开源项目以及它们在这个日志系统中起到的作用:

  • Logstash :Logstash 主要用于日志的搜集、分析和过滤,支持对多种日志类型进行处理。在 ELK 日志系统中,Logstash 负责日志的收集和清洗。
  • Elasticsearch :ElasticSearch 一款使用 Java 语言开发的搜索引擎,基于 **Lucence **。可以解决使用数据库进行模糊搜索时存在的性能问题,提供海量数据近实时的检索体验。在 ELK 日志系统中,Elasticsearch 负责日志的搜素。
  • Kibana :Kibana 是专门设计用来与 Elasticsearch 协作的,可以自定义多种表格、柱状图、饼状图、折线图对存储在 Elasticsearch 中的数据进行深入挖掘分析与可视化。 ELK 日志系统中,Logstash 主要负责对从 Elasticsearch 中搜索出来的日志进行可视化展示。

新一代 ELK 架构

ELK 属于比较老牌的一款日志系统解决方案,这个方案存在一个问题就是:Logstash 对资源消耗过高

于是, Elastic 推出了 Beats 。Beats 基于名为libbeat的 Go 框架,一共包含 8 位成员。

日志系统了解吗?有哪些常见的解决方案?

部分转自互联网,侵权删除联系

赞(0) 打赏
部分文章转自网络,侵权联系删除b2bchain区块链学习技术社区 » 日志系统了解吗?有哪些常见的解决方案?求职学习资料
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

b2b链

联系我们联系我们