rsyslog日志存储到mysql数据库中并利用loganalyzer进行web图形化分析管理

M20-1倪文超 • • Linux干货

概述

    系统日志的重要性，相信大家都深有体会，当发生故障后，第一时间就是查看相关报错信息和日志信息，以定位问题所在，还可以基于日志，进行日志的分析，从而获取系统运行状态的一些规律，本篇就介绍关于系统日志的先关内容，具体分为：

    1、rsyslog相关概念的介绍

    2、自定义日志存储的信道(facility)和存储位置，让rsyslog作为服务端记录rsyslog客户端的日志信息

    3、定义rsyslog的日志存储在mysql数据库中

    4、利用loganalyzer实现对存储在mysql数据库中的rsyslog日志信息，进行web图形化分析管理

环境：

    CentOS7系统，IP为10.1.32.72

    LAMP组合采用：yum方式的rpm包安装

        httpd-2.4

        php-fpm(也就是php基于fastcgi方式与httpd交互的实现)

        mariadb

    

第一章    rsyslog相关概念的介绍

    

    1、rsyslog是什么

        rsyslog是系统上用来进行日志管理的工具，其C/S架构的程序，可以为当前系统记录系统相关的日志信息，也支持为其他软件或其他的系统记录日志信息，其相关特性表现为：

            多线程工作;

            基于UDP、TCP、协议，还可以基于tls/ssl进行加密通信，还可以基于RELP进行通信;

            存储日志信息于MySQL、PostgreSQL(PGSQL)、Oracle等RDBMS;

            强大的过滤器，实现过滤日志信息中任何部分的内容;

            自定义的输出格式;

    2、rsyslog程序环境

        程序包：

            rsyslog   程序包

            rsyslog-mysql   支持将日志信息记录到mysql的程序包

        配置文件：

            /etc/rsyslog.conf、/etc/rsyslog.d/*.conf

        主程序：

            /usr/sbin/rsyslogd

        模块组件：

            /usr/lib64/rsyslog/

        Unit file：

            /usr/lib/systemd/system/rsyslog.service

      

    3、rsyslog相关的术语

        facility：收集日志的通道设施，信道，可以理解为日志通过那个虚拟设备发送进来

        常见的facility有：  

            auth         # 认证相关的

            authpriv     # 权限,授权相关的

            cron         # 任务计划相关的

            daemon       # 守护进程相关的

            kern         # 内核相关的

            lpr          # 打印相关的

            mail         # 邮件相关的

            mark         # 标记相关的

            news         # 新闻相关的

            security    # 安全相关的,与auth 类似  

            syslog      # syslog自己的

            user        # 用户相关的

            uucp        # unix to unix cp 相关的

            local0 到 local7      # 用户自定义使用

            *           # *表示所有的facility 

        priority：(log level)日志的级别,一般有以下几种级别(从低到高)     

            debug           # 程序或系统的调试信息

            info            # 一般信息

            notice          # 不影响正常功能,需要注意的消息

            warning/warn    # 可能影响系统功能,需要提醒用户的重要事件

            err/error       # 错误信息

            crit            # 比较严重的

            alert           # 必须马上处理的

            emerg/panic     # 会导致系统不可用的

            *               # 表示所有的日志级别

            none            # 跟* 相反,表示啥也没有 

        target：(动作)日志记录的位置，常见的有：

            文件：

                将指定的日志信息记录到指定的文件中

            -文件：

                表示将日志信息记录到指定的文件中，-表示异步写入

            用户：

                将日志事件通知给指定的用户，通常是将日志信息发送给登录到当前系统上的所有用户的终端

            日志服务器：

                格式为@RSYSLOG_SERVER  ,表示将日志信息发送给指定的日志服务器

            管道：

                格式为 |COMMAND  表示将日志信息管道送给指定的命令

        

    4、记录日志定义的格式为：

        facility.priority    target

        表示将哪个信道传进来的日志，哪个日志级别(及其之上的日志级别)，记录到哪个目标中

        facility格式：

            *   表示所有的facility

            FACI1,FACI2,FACI1,…   列表中给定的所有facility

            FACI1.PRI1;FACI2.PRI2;FACI3.PRI3;…  列表中给定的facility和对应的priority及其之上级别的记录

        priority格式：

            *   所有级别

            none   没有级别，不记录日志

            PRIORITY：此级别(含)及其以上的所有级别

            =PRIORITY： 仅指定的级别

        例如：     

            *.info;mail.none;authpriv.none;cron.none                /var/log/messages

            表示所有信道的info级别以上的信息，除了mail设备，authprioriv设备、cron设备的日志，都记录到/var/www/messages文件

            authpriv.*                                              /var/log/secure

            表示authpriv设备上所有日志级别的日志，都记录到/var/log/secure文件中

            mail.*                                                  -/var/log/maillog

            表示mail设备所有日志级别的日志，都以异步方式记录到/var/log/mailog文件中

           

            auth.=info  @10.0.0.1         

            # 表示将auth相关的,级别为只为info的日志记录到10.0.0.1主机上去

            前提是10.0.0.1要能接收其他主机发来的日志信息 

            

            user.!=error      /var/log/test.log                  

            # 表示记录user相关的,不包括error级别的信息，记录到/var/log/test.log文件中

           

            cron.info;mail.info          /var/log/test.log

            # 多个日志来源可以用";" 隔开

            cron,mail.info                /var/log/test.log

            # 与cron.info;mail.info 是一个意思

            mail.*;mail.!=info            /var/log/test.log

            # 表示记录mail相关的所有级别的信息,但是不包括info级别的

第二章    自定义日志存储的信道(facility)和存储位置，让rsyslog作为服务端记录rsyslog客户端的日志信息

    

    1、自定义存储位置—以文件为例

    blob.png 

    blob.png   

        

    

    2、让本机rsyslog作为服务端，接受来自其他rsyslog客户端的日志

        在本机的rsyslog中配置文件中定义其作为服务端工作需要的属性

    blob.png

    blob.png

        

        在其他rsyslog客户端主机上配置，让其把日志发送给rsyslog服务端

    blob.png

    blob.png

        

        在rsyslog服务端验证是否有收到客户端的日志信息

    blob.png

第三章    定义rsyslog的日志存储在mysql数据库中

    1、安装mariadb数据库，启动服务

    blob.png   

    blob.png

    blob.png

    

    

    2、安装rsyslog连接mysql的驱动模块：rsyslog-mysql

    blob.png

    blob.png

            

    2、导入rsyslog-mysql生成的sql脚本，实现对数据库的配置

    blob.png

    blob.png

            

    3、在数据库上授权对Syslog库的管理用户

    blob.png

                

    4、配置rsyslog利用mysql记录日志

    blob.png

    blob.png

                        

    5、修改完配置文件，重启rsyslog服务，查看数据库中是否有相关日志信息

    blob.png

    

第四章    利用loganalyzer实现对存储在mysql数据库中的rsyslog日志信息，进行web图形化分析管理

    上述过程，我们已经实现了将rsyslog的日志信息存储于mysql数据库中，但是查看日志时却不方便，需要利用SQL语句来查询

    接下来我们来介绍下，利用loganalyzer实现对存储在mysql数据库中的日志进行web化管理

    1、部署LAMP组合(以php与httpd结合方式为fastcgi为例)

        yum install -y httpd php-fpm php-mysql php-gd

    blob.png

            

    2、对httpd进行简单配置，然后启动httpd服务，配置php-fpm配置文件，然后启动php-fpm服务

    blob.png

    blob.png

    blob.png

    blob.png    

    blob.png

    测试访问，验证LAMP是否正常

    blob.png

    blob.png      

          

    4、下载loganalyzer软件包，解压，部署

    blob.png

    blob.png

    

    5、登录网页，进行安装

    blob.png

    blob.png

    blob.png

    重载httpd配置文件后刷新网页

    blob.png

    blob.png

    拍错过程：上图中，定义的数据库表名称与实际数据库(表名称为'SystemEvents')不对，修改config.php文件解决

    忘记给php添加session目录    

        解决方案：mkdir /var/lib/php/session;chown apache:apache /var/lib/php/session

    blob.png

原创文章，作者：M20-1倪文超，如若转载，请注明出处：http://www.178linux.com/52552

赞 (2)
M20-1倪文超M20-1倪文超
1
上一篇 2016-10-18
下一篇 2016-10-18

相关推荐

  • Centos6上安装cobbler及cobbler常见参数详解

    前言 Cobbler是一个自动化和简化系统安装的工具，通过使用网络引导来控制和启动安装。Cobbler的特性包括存储库镜像、Kickstart模板和连接电源管理系统。使用Cobbler之前需要先了解下PXE和Kickstart的基本原理，文章包含了Cobbler工作原理和Cobbler部署实践两部分内容，交叉关联性的内容还是蛮多的，遇到报错也不要怕，都会一步…

    Linux干货 2016-11-11

  • quota AND raid

    1.磁盘配额 将home目录独立出来单独的分区，限制用户的使用。 （1）先创建分区，如下图的分区sda6 （2）命令同步系统的新增加分区:partx –a /dev/sda （3）命令格式化新分区：     （4）把创建的设备挂载到/mnt/home下    （5）迁移数据，移动之前要确保home分区没有使用。权限是保…

    Linux干货 2016-09-19

  • linux下通配符和一些特殊符号

    通配符 wildcard

    Linux干货 2017-11-26

  • Linux bash中的命令行展开介绍及应用示例

    Linux bash中的命令行展开介绍及应用示例 在Linux bash中可以使用命令行展开特性一步完成需要分开成多步完成的操作，达到事半功倍的效果。在Linux指令参数位置使用"{}" 将相应的参数括起来,括号中的参数以逗号分隔，然后bash在执行这一指令时会自动将括号中的内容进行展开。 相关示例如下： 同时创建多个目录，在/tmp目录…

    Linux干货 2016-11-07

  • kickstart文件及引导镜像的制作流程

    kickstart文件及引导镜像的制作流程 kickstart文件制作流程 安装制作kickstart文件的图形界面工具 [root@slave1 ~]# yum install system-config-kickstart 开启工具 [root@slave1 ~]# system-config-kickstart 在打开的图形界面中通过file菜单选项选…

    Linux干货 2017-09-04

  • 26期全程班-第五周博客作业

      1、显示/boot/grub/grub.conf中以至少一个空白字符开头的行； # grep “^[[:space:]]\+” /boot/grub/grub.conf 2、显示/etc/rc.d/rc.sysinit文件中以#开头，后面跟至少一个空白字符，而后又有至少一个非空白字符的行； # grep “^…

    Linux干货 2017-03-09

评论列表（1条）

  • 马哥教育
    马哥教育 2016-10-30 20:32

    文章图片的注释很详细，建议标题优化一下，太冗长了，简洁为主。

电话咨询
在线咨询