rsyslog+mysql+loganalyzer 搭建日志服务器及监控

rsyslog

日志:历史事件; 历史事件:时间、地点、事件;

syslog: klogd:kernel yslogd:system(application)

事件记录格式:日期时间 主机 进程[pid]:事件内容;

C/S架构;通tcp或udp协议的服务完成日志记录的传送;

rsyslog: rsyslog的特性: – 多线程; – UDP/TCP/SSL/TLS/RELP; – 存储日志信息于MySQL,PGSQL,oracle,等RDBMS; – 强大的过滤器,实现过滤日志信息中的任何部分的内容; – 自定义输出格式; – ……

elk

ELK由Elasticsearch、Logstash和Kibana三部分组件组成; Elasticsearch*是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。 Logstash是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用 kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

rsyslog日志收集器的基本术语;

facility:设施,收束日志数据流为有限几个; auth,authpriv,cron,daemon,kern,lpr,mail,mark,news,security,user,uucp,syslog,local0-local7 priority:优先级 debuf,info,notice,warn(warning),err(error),crit(critical),alert,emerg(panic)

程序包:rsyslog

程序环境: 配置文件:/etc/rsyslog.conf,/etc/rsyslog.d/\*.conf 主程序:/usr/sbin/rsyslogd CentOS 6:service rsyslogs {start|stop|restart|status} CentOS 7:/usr/lib/systemd/system/rsyslog.service

配置文件格式: 由三部分组成: – MODULES :模块配置 – GLOBAL DIRECTIVES:全局配置 – RULES:日志记录相关配置 – ( begin forwarding rule RULES:

配置格式: facility.priority  target      - 表示异步写入

facility: *:所有的facility; f1,f2,f3,…:指定的facility列表; priority: *:所有级别 none:没有级别; PRIORITY:指定级别(含)以上的所有级别; =PRIORITY:仅记录指定级别的日志信息;

target 文件:将日志信息记录到指定的文件中,文件路径前的-表示异步写入; 用户:将日志时间通知给指定的用户; 日志服务器:@host,把日志通过网络送往指定的服务器记录,而非由本地记录; 管道:|COMMAND

其他的日志文件:

/var/log/secure:系统安全日志,应该周期性分析; /var/log/btmp:当前系统上用户的失败尝试登录相关的日志信息,lastb命令可以查看 /var/log/wtmp:当前系统上,用户正常登陆系统的相关日志信息,last命令可以查看

lastlog:用于查看当前系统上每一个用户最后一次登陆的信息。

/var/log/messages:系统日志信息; /var/log/desg:系统引导过程中的日志信息; 文本查看工具查看; 也可以使用专用命令dmesg查看;


配置rsyslog成为日志服务器;

 vim /etc/rsyslog.conf##### MODULES #####Provides UDP syslog reception$ModLoad imudp$UDPServerRun 514Provides TCP syslog reception$ModLoad imtcp$InputTCPServerRun 514systemctl restart rsyslog

rsyslog将日志记录于MySQL中;

(1)准备MySQL server

 yum install mariadb mariadb-server

(2)在MySQL server上授权rsyslog能连接至当前服务器;

 mysqlgrant all on Syslog.\* to 'rsyslog'@'%' identified by 'magedu';

(3)在rsyslog主机上安装MySQL模块相关的程序包

 yum install rsyslog-mysql

(4)为rsyslog创建数据库及表;

 mysql -uUSERNAME -hHOST -pPASSWORD < /usr/share/doc/rsyslog-7.4.7/mysql-createDB.sql

(5)配置rsyslog将日志保存于MySQL中;

 vim /etc/rsyslog.conf### MODULES ###$ModLoad ommysql### RULES ###facility.priority :ommysql:DBHOST,DBNAME,DBUSER,DBUSERPASSWORD

(6)重启rsyslog服务;

 systemctl restart rsyslog

通过loganalyzer展示数据库中的日志:

(1)准备lamp或lnmp组合;

 yum install -y httpd php php-mysql php-gd

启动服务

 systemctl start httpdsystemctl start mariadb

(2)安装loganalyzer

 tar xvf loganalyzer-3.6.5.tar.gzcp -a loganalyzer-3.6.5/src /var/www/html/logcd /var/www/html/logtouch config.phpchmod 666 config.php

(3)配置loganalyzer

 systemctl start httpd

浏览器中输入:http://HOST/log (HOST为rsyslog服务器ip)

点击here

rsyslog+mysql+loganalyzer 搭建日志服务器及监控

点击next

rsyslog+mysql+loganalyzer 搭建日志服务器及监控

点击next

rsyslog+mysql+loganalyzer 搭建日志服务器及监控

点击next

rsyslog+mysql+loganalyzer 搭建日志服务器及监控

填写数据库信息

点击next

rsyslog+mysql+loganalyzer 搭建日志服务器及监控

点击finish

rsyslog+mysql+loganalyzer 搭建日志服务器及监控

rsyslog+mysql+loganalyzer 搭建日志服务器及监控

 (4)安全加强

 cd /var/www/html/logchmod 644 config.php

原创文章,作者:wangshuai,如若转载,请注明出处:http://www.178linux.com/66347

(1)
wangshuaiwangshuai
上一篇 2017-01-10
下一篇 2017-01-10

相关推荐

  • Linux文件管理

    Linux文件管理 Linux上的文件管理类命令都有哪些,其常用的使用方法及其相关示例演示。 cd cd命令用来切换工作目录至dirname。 其中dirName表示法可为绝对路径或相对路径。若目录名称省略,则变换至使用者的home directory(也就是刚login时所在的目录)。另外,~也表示为home directory的意思,.则是表示目前所在的…

    2017-10-01
  • mysql mariadb 备份恢复、主从

    备份类型分为: 完全备份、增量备份、差异备份 热备、温备、冷备 逻辑备份、物理备份 每种类型区别: 增量备份:根据上一次备份的增量备份或完全备份备份 差异备份:根据上一次备份的完全 温备:备份过程中只支持读备份备份热备:备份过程中支持读写 冷备:停服务备份 逻辑备份:schema和数据存储在一起,巨大的sql语句、单个巨大的备份文件,恢复备份较慢。优点可以还…

    2017-03-01
  • 文件系统的挂载使用总结

    文件系统使用 除根文件系统以外的文件系统创建后要使用需要先挂载至挂载点后才可以被访问,挂载点即分区设备文件关联的某个目录文件,挂载命令mount和 卸载命令umount; 挂载点: mount_point,作为被挂载的文件系统的访问入口; 作为挂载点需要满足三个条件:  (1)这个目录事先存在  (2)使用未被或不会被其他进程使用到的目录…

    系统运维 2016-11-19
  • 文件查找工具

    文件查找     我们常常需要知道哪个文件放在哪里,才能够对该文件进行一些修改或维护等动作。 有些时候某些软件配置文件的文件名是不变的,但是各发行版 放置的目录则不同。 此时就得要利用一些搜寻指令将该配置文件的完整文件名捉出来,这样才能修改。     比较实用的两个文件查找工具l…

    Linux干货 2016-08-21
  • 每日一练–8.2 用户管理,权限管理

    (1)显示/var目录下所有以l开头,以一个小写字母结尾,且中间出现至少一位数字的文件或目录。     ll /var/l*[[:digit:]]*[[:lower:]] (2)显示以/etc目录下以任意一位数字开头,且以非数字结尾的文件或目录      ll /etc/[[:digit:]]*[^[:dig…

    Linux干货 2016-08-05