最近一直在学习python,可是工作中一直缺少机会用到这块功能.最近接到一个需求需要拉取6台客户端的某一天jetty日志.因为jetty的日志是保存在jetty的log目录下,以yyyy_mm_dd.stderrout.log的形式保存,所以我们只要创建一个脚本,传入需要查询日志的日期和需要查询日志的主机IP及用户密码,就可以将制定主机的指定日期的日志抓取到本地.
脚本的逻辑并不是很难,先模拟ssh访问指定主机,在指定目录下通过find找到指定文件,将该文件通过sftp或scp将文件传输至本地.通过shell脚本会非常轻松.为了考验自己的python水平,这次我们通过python的方式进行实现.主要用到的就是paramiko模块.
paramiko是一个可以连接远程主机及上传下载文件的一个第三方模块,他基于ssh2协议.官网地址是http://www.paramiko.org/,安装的方式非常简单,通过easy_install paramiko或者在pypi中下载安装包安装都可以.
安装完以后,我们通过之前我的那个实际案例来初步了解paramiko的远程连接和文件下载.
[root@Manatee ~]# cat pytest/paramiko #!/usr/bin/env python import paramiko import sys import os loglist = []
#设定一个空列表用于存放日志文件名,因为一台主机中有多个jetty项目,可能同一天会有多个日志. date = '2016_01_03' #传入需要查询的日期,这步可以通过参数传入,或者读取配置文件实现 ip = '192.168.0.1' #传入需要查询的主机IP,这步可以通过参数传入,或者读取配置文件实现 remoteuser = 'xxx' #传入需要查询的主机用户,这步可以通过参数传入,或者读取配置文件实现 remotepwd = 'xxx' #传入需要查询的主机密码,这步可以通过参数传入,或者读取配置文件实现 client = paramiko.client.SSHClient() #创建一个对象,建立一个ssh连接 client.set_missing_host_key_policy(paramiko.AutoAddPolicy()) #允许连接不在know_hosts文件中的主机 client.connect(hostname=ip,username=remoteuser,password=remotepwd) #连接远程主机 #connect(self, hostname, port=22, username=None, password=None, pkey=None, key_filename=None, timeout=None, allow_agent=True, look_for_keys=True, compress=False, sock=None, gss_auth=False, gss_kex=False, gss_deleg_creds=True, gss_host=None, banner_timeout=None) #connect可以传入很多参数,我们主要用到的是IP,端口(默认22),用户名,密码 i,o,e = client.exec_command('find /hsdata/ljetty/ -name %s*'%(date)) #在远程执行shell脚本,通过输出流的方式输出stdin,stdout,stderr,本例中通过find命令在指定目录下找到以指定日期开头的文件 loglist = o.readlines() #[u'/var/log/jettyMYSQL/logs/2016_01_03.stderrout.log\n'] #将标准输出的文件读取,赋值给loglist,输出的的每个内容其实是个unicode格式文本,之后使用的过程中需要转换成utf8格式 client.close() #关闭连接 t = paramiko.Transport((ip,22)) #创建一个对象实例化paramiko.transport t.connect(username = remoteuser,password = remotepwd) #连接远程主机 sftp = paramiko.SFTPClient.from_transport(t) #建立一个sftp对象,通过sshtransport远程操作文件 for i in loglist: #遍历日志文件列表 print type(i) #unicode a = (i.encode('utf-8')).replace('\n','') #/var/log/jettyMYSQL/logs/2016_01_03.stderrout.log #将之前找到的日志文件名进行处理,转换unicode转换至utf8格式,并去除尾部的\n字符. b = a.replace('/','') #varlogjettyMYSQLlogs2016_01_03.stderrout.log #将完全的路径中的/删除,得到的值作为将要保存在本地的文件名 if os.path.exists('/tmp/'+ip): #判断是否存在以远程主机IP为名字的目录,如果存在,则将文件下载到该目录下,如果不存在,创建目录后将文件下载到该目录下. sftp.get(a,'/tmp/'+ip+'/'+b) else: os.makedirs('/tmp/'+ip) sftp.get(a,'/tmp/'+ip+'/'+b) t.close()
这样我们就完成了简单的远程连接主机执行命令和下载文件的操作.现在只是完成了需求,完全可以将远程主机的IP,用户名,密码写成一个配置文件,读取配置文件进行操作,也可以将命令写成2个函数,调用指定函数完成指定操作.
原创文章,作者:海马,如若转载,请注明出处:http://www.178linux.com/11144
评论列表(1条)
我按着你的脚本执行 ,中间遇到错误循环就会中断,如果加了个错误抛出机制 问题就解决了
for file in loglist:
a = (file.encode(‘utf-8’)).replace(‘\n’,”)
remotepath = ‘/tmp/test/’ + a
print remotepath
try:
if os.path.exists(‘/tmp/test/’+ip):
sftp.get(remotepath,’/tmp/test/’+ip+’/’+a)
else:
os.makedirs(‘/tmp/test/’+ip)
sftp.get(remotepath,’/tmp/test/’+ip+’/’+a)
except IOError:
pass