Linux进程管理及作业管理

进程管理

进程概念

Linux内核：抢占式多任务
内核的功用：进程管理、文件系统、网络功能、内存管理、驱动程序、安全功能等
Process: 运行中的程序的一个副本，是被载入内存的一个指令集合
- 进程ID（Process ID，PID）号码被用来标记各个进程
  UID、GID、和SELinux语境决定对文件系统的存取和访问权限
  通常从执行进程的用户来继承
  进程存在生命周期：创建运行—执行结束
task struct（任务结构）：Linux内核存储进程信息的数据结构格式
task list（任务链表）：多个任务的的task struct组成的链表
进程创建：
- init：第一个进程，遵循父子关系创建进程
  进程：都由其父进程创建，CoW（写时复制）
  - 调用的接口：fork(), clone()
- 父进程？创建子进程
  - 子进程是因为父进程要完成的任务，而被父进程所创建；最后由父进程释放子进程

进程优先级：

优先级的划分：
- 0-139（CentOS4,5）：
  - 实时优先级: 0-99；数字越大，优先级越高
  - 静态优先级：100-139；数字越小，优先级越高
- 0–98,99–99（CentOS6）
  
  各有140个运行队列和过期队列
- nice值：-20到19，对应系统优先级100-139或99
Big O：时间复杂度，用时和规模的关系
- O(1), O(logn), O(n)线性, O(n^2)抛物线, O(2^n)
进程优先级调整：
- 静态优先级：100-139
  进程默认启动时的nice值为0，优先级为120
  只有根用户才能降低nice值（提高优先性）
- nice命令：以指定的nice值启动并运行命令
  nice [OPTION] [COMMAND [ARGU]…]
  - 选项：
    -n NICE
- renice命令：对运行中的进程的nice值
  renice [-n] NICE PID…
- 查看Nice值和优先级：
  ps axo pid,comm,ni

进程内存

进程内存
- Page Frame: 页框，用存储页面数据，存储Page 4k
- LRU：Least Recently Used 近期最少使用算法,释放内存
物理地址空间：实际分给进程的空闲的不连续的页框空间
线性地址空间：通过虚拟后的内存空间
- MMU(Memory Management Unit 内存管理单元)：负责实时转换线性和物理地址；
- TLB（Translation Lookaside Buffer）：翻译后备缓冲器,用于保存虚拟地址和物理地址映射关系的缓存
IPC（Inter Process Communication）：进程间通信的机制
- 同一主机:
  signal:信号
  shm（shared memory）：共享内存
  semaphore:信号量，一种计数器；标记位，避免资源的互斥行为
- 不同主机：
  rpc: remote procedure call（远程过程调用也是基于socket完成调用的）
  socket: IP和端口号

进程类型：

守护进程 | daemon | 服务：在系统引导过程中启动的进程，与用户无关，和终端无关进程
前台进程：跟终端相关，通过终端启动的进程
注意：可以相互之间转化
可以把服务调到前端执行，也可把在前台启动的进程送往后台，以守护模式运行；

进程状态：

运行态：running | 同一时间只有部分在运行
就绪态：ready
睡眠态：
- 可中断睡眠：interruptable
  不可中断睡眠：uninterruptable
停止态：stopped,暂停于内存，但不会被调度，除非手动启动
僵死态：zombie，结束进程，父进程结束前，子进程不关闭
- 不正常状态，此为程序的不正常退出；进程正常退出会释放内存
  在程序编辑的时候，养成良好习惯；释放内存

进程的分类：

CPU-Bound：CPU密集型，主要是非交互式
IO-Bound：IO密集型，主要是交互式

Linux系统上进程的查看及管理工具

控制开机启动的程序：
- CentOS 5：SysV init
  CentOS 6：upstart
  CentOS 7：systemd

pstree

pstree（rpm包为psmisc*）：display a tree of processes
- 显示进程树中的 { 线程 }
- -p：显示进程号

ps

/proc/:内核中的状态信息；
- 内核参数：
  - 可设置其值从而调整内核运行特性的参数；/proc/sys/
  - 状态变量：其用于输出内核中统计信息或状态信息，仅用于查看
- 参数：模拟成文件系统类型；非参数本身被模拟成目录，参数本身被模拟成文件；
进程：Linux系统各进程的状态信息均保存在/proc/目录下的各文件中
ps – report a snapshot of the current processes
ps [OPTION]…
- 支持三种选项：
  UNIX选项如-A -e
  BSD选项如a
  GNU选项如–help
  
  启动进程的方式：
  系统启动过程中自动启动：与终端无关的进程
  用户通过终端启动：与终端相关的进程
  - 默认显示当前终端中的进程
    a 所有终端中的进程
    x 所有与终端无关的进程
    u 选项显示进程所有者的信息
    f 选项显示进程的父进程
    o 属性… ：自定义要显示的字段列表，以逗号分隔；
- 常用组合：aux
  - PID:进程号
    VSZ: Virtual memory SiZe，虚拟内存集，线性内存
    RSS: ReSident Size, 常驻内存集,不进行交换内存
    SHM:共享内存集
    STAT：进程状态
    - R：running；运行状态
      S: interruptable sleeping；可中断休眠
      D: uninterruptable sleeping；不可中断休眠
      T: stopped；停止状态
      Z: zombie；僵死状态
      +: 前台进程
      l: 多线程进程
      L：内存分页并带锁
      N：低优先级进程
      <: 高优先级进程
      s: session leader，会话（子进程）发起者
- 常用组合：-ef
  - -e: 显示所有进程
    -f: 显示完整格式程序信息
    - C：CPU的利用率
      PSR：运行于哪颗CPU之上
- 常用组合：-eFH
  - -F: 显示更完整格式的进程信息
    -H: 以进程层级格式显示进程相关信息
- 常用组合：自定义
  - -eo　pid,tid,class,rtprio,ni,pri,psr,pcpu,stat,[comm|cmd]
  - axo　stat,euid,ruid,tty,tpgid,sess,pgrp,ppid,pid,pcpu,[comm|cmd]
    - ni: nice值,默认为0
      priority: priority 优先级，Higher number means lower priority
      psr: processor CPU编号
      rtprio: 实时优先级
- 搜索进程
  - 日常的灵活用法：ps 选项 | 其它命令
  - ps自带的搜索命令：pgrep
    - pgrep [options] pattern
      - pattern–指模式
        -u uid: effective user，以谁的身份运行的
        -U uid: real user，真正发起运行命令者
        -t terminal: 与指定终端相关的进程
        -l: 显示进程名
        -a: 显示完整格式的进程名
        -P pid: 显示指定进程的子进程
        -t TERMINAL:与指定的终端相关的进程
  - 按确切的程序名称查询进程编号：/usr/sbin/pidof
    - pidof 进程名
    此处有料： /usr/sbin/pidof -> /usr/sbin/killall5
    对同一个程序，生成不同的软链接，最后执行的效果不一样；
```
vim /root/bin/f1.sh

#!/bin/bash
echo "the script name is `basename $0`"  

ln -s f1.sh f1link  
~]#f1link
the script name is f1link

ln -s f1.sh f1link2
~]#f1link2
the script name is f1link2
```
  - windows的搜索进程：tasklist；杀进程：taskkill

系统工具

uptime：top命令中状态栏信息的第一行

显示当前时间，系统已启动的时间、当前上线人数，系统平均负载（1、5、10分钟的平均负载，一般不会超过1）

系统平均负载：
指在特定时间间隔内运行队列中的平均进程数
通常每个CPU内核的当前活动进程数不大于3，那么系统的性能良好。如果每个CPU内核的任务数大于5，那么此主机的性能有严重问题
如果linux主机是1个双核CPU，当Load Average 为6的时候说明机器已经被充分使用

top

选项：
-d #: 指定刷新时间间隔，默认为3秒
-b: 以批次方式
-n #: 显示多少批次
内部命令：
- 排序：
  - P：以占据的CPU百分比,%CPU
    M：以占据内存百分比,%MEM
    T：以累积占据CPU时长,TIME+
- 首部信息显示：
  - uptime信息：l命令开关第1行信息
    tasks及cpu信息：t命令开关第2、3行信息
    cpu分别显示：1 (数字)；第3行信息
    memory信息：m命令；第4、5行
- 退出命令：q
- 修改刷新时间间隔：s
- 终止指定进程：k
- 保存文件：W
- 栏位信息简介
  - us：用户空间
    sy：内核空间
    ni：调整nice后，额外多占用时间
    id：空闲时间
    wa：等待IO时间
    hi：处理硬件中断所消耗的百分比
    si：软件中断所消耗的百分比（模式切换）
    cs：处理上下文切换（任务切换）所消耗的百分比
    st：虚拟机偷走的时间

htop

htop命令：从Fedora-EPEL源安装；

选项：
-d #: 指定延迟时间；
-u UserName: 仅显示指定用户的进程
-s COLUME: 以指定字段进行排序
内部命令：
- s: 跟踪选定进程的系统调用
  l: 显示选定进程打开的文件列表
  a：将选定的进程绑定至某指定CPU核心
  t: 显示进程树

内存工具

vmstat

vmstat命令：虚拟内存信息
- vmstat [options] [delay [count]]
  vmstat 2 5
- 选项：
  -s: 显示内存的统计数据
内部显示：
- procs:
  - r：等待运行的进程的个数，和核心数有关；CPU上等待运行的任务的队列长度
    b：处于不可中断睡眠态的进程个数；被阻塞的队列的长度；
- memory：
  - swpd: 交换内存的使用总量；
    free：空闲物理内存总量
    buffer：用于buffer的内存总量
    cache：用于cache的内存总量
- swap:in、out:以内存为参照物
  - si：从磁盘交换进内存的数据速率(kb/s)
    so：从内存交换至磁盘的数据速率(kb/s)
- io：in、out:以内存为参照物
  - bi：从块设备读入数据到系统的速率(kb/s)
    bo: 保存数据至块设备的速率(kb/s)
- system：
  - in: interrupts, 中断速率，包括时钟；(次数/s)
    cs: context switch, 进程切换速率
- cpu：
  - us:Time spent running non-kernel code
    sy: Time spent running kernel code
    id: Time spent idle. Linux 2.5.41前,包括IO-wait time.
    wa: Time spent waiting for IO. 2.5.41前，包括in idle.
    st: Time stolen from a virtual machine. 2.6.11前, unknown.

iostat

iostat:统计CPU和设备IO信息

示例：iostat 1 10

pmap

pmap命令：进程对应的内存映射
pmap [options] pid […]
- -x: 显示详细格式的信
另外一种查看方式：
cat /proc/PID/maps

系统监控工具

glances

glances命令：从EPEL源安装
glances [-bdehmnrsvyz1] [-B bind] [-c server] [-C conffile] [-p port] [-P password] [–password] [-t refresh] [-f file] [-o output]
- 内建hlep操作
- 常用选项：
  -b: 以Byte为单位显示网卡数据速率
  -d: 关闭磁盘I/O模块
  -f /path/to/somefile: 设定输出文件的保存目录
  -o {HTML|CSV}：输出格式
  -m: 禁用mount模块
  -n: 禁用网络模块
  -t #: 延迟时间间隔
  -1：每个CPU的相关数据单独显示
C/S模式下运行glances命令
- 服务器模式：
  将glances绑定在本机的IP地址上 glances -s -B IPADDR
  IPADDR: 用于监听的本机哪个地址
- 客户端模式：
  glances -c IPADDR
  IPADDR：要连入的服务器端地址

dstat

dstat命令：系统资源统计,代替vmstat,iostat
dstat [-afv] [options..] [delay [count]]
- 常用选项：
  -c: 显示cpu相关信息
  -C #,#,…,total；某颗CPU的信息和总的信息
  -d: 显示disk相关信息
  -D total,sda,sdb,…
  -g：显示page相关的速率数据
  -m: 显示memory相关统计数据
  -n: 显示network相关统计数据
  -p: 显示process相关统计数据
  -r: 显示io请求相关的统计数据
  -s: 显示swapped相关的统计数据
  …
- –tcp
  –udp
  –unix
  –raw
  –socket
  –ipc：显示进程间通信
  –top-cpu：显示最占用CPU的进程
  –top-io: 显示最占用io的进程
  –top-mem: 显示最占用内存的进程
  –top-latency: 显示延迟最大的进程
  …

进程管理工具

kill

kill命令：
- 向进程发送控制信号，以实现对进程管理,每个信号对应一个数字，信号名称以SIG开头（可省略），不区分大小写
- 显示当前系统可用信号： kill –l，trap -l
- 向进程发信号：
  kill [-s signal|-SIGNAL] pid…
  - 常用信号：man 7 signal
    1) SIGHUP: 无须关闭进程而让其重读配置文件
    2) SIGINT: 终止正在运行的进程；相当于Ctrl+c
    3) SIGQUIT:相当于ctrl+\
    9) SIGKILL: 强制杀死正在运行的进程
    15) SIGTERM：终止正在运行的进程；默认发送此信号；
    18) SIGCONT：继续运行；
    19) SIGSTOP：后台休眠；
    0）检查进程是否在运行；检查进程编号为一个的时候使用
- 指定信号的方法：
  (1) 信号的数字标识：1, 2, 9
  (2) 信号完整名称：SIGHUP
  (3) 信号的简写名称：HUP
按PID：kill [-SIGNAL] pid …
kill –n SIGNAL pid；kill –s SIGNAL pid
按名称一窝端：killall [-SIGNAL] comm…
按模式：pkill [options] pattern
- -SIGNAL
  -u uid: effective user，生效者
  -U uid: real user，真正发起运行命令者
  -t terminal: 与指定终端相关的进程
  -l: 显示进程名（仅pgrep可用）
  -a: 显示完整格式的进程名（仅pgrep可用）
  -P pid: 显示指定进程的子进程
  pkill、pgrep：共用一个man，用法相似；

作业管理

Linux的作业控制

前台作业：通过终端启动，且启动后一直占据终端；
后台作业：可通过终端启动，也可不通过终端启动，但启动后即转入后台运行（释放终端）

让作业运行于后台
1. 运行中的作业： Ctrl+z；
  此类作业送往后台后，作业会转为停止态
2. 尚未启动的作业： COMMAND &；
  后台作业虽然被送往后台运行，但其依然与终端相关；退出终端，将关闭后台作业。
3. 如果希望送往后台后，剥离与终端的关系
  - ~]# nohup COMMAND &
  - screen；
    COMMAND ；
    screen -r：恢复到后台的终端中；
    相当于另起一个终端运行;
    默认输出到当前目录的nohup.out文件中，可以重定向到指定文件；
查看所有作业：当前终端的作业
- jobs

[root@localhost ~]# jobs
  [1]-  Stopped                 htop
  [2]+  Stopped                 ping 172.16.250.162

  注意：
  + ：表示使用fg默认调出的作业；
  [#]:表示JOB_NUM

作业控制：
fg [[%]JOB_NUM]：把指定的后台作业调回前台
bg [[%]JOB_NUM]：让送往后台的作业在后台继续运行
kill %JOB_NUM：终止指定的作业；%不可省略，去掉后系统会默认为进程号

并行运行

同时运行多个进程，提高效率
- 方法1
  vim all.sh
  f1.sh&
  f2.sh&
  f3.sh&
- 方法2
  (f1.sh&);(f2.sh&);(f3.sh&)
- 方法3
  { f1.sh& f2.sh& f3.sh& }
n=100;(echo $n;n=200;echo $n);echo $n
括号内的属于此进程的线程

Linux任务计划、周期性任务执行

未来的某时间点执行一次任务
at
batch：系统自行选择空闲时间去执行此处指定的任务
周期性运行某任务
cron

at

电子邮件服务：
smtp：simple mail transmission protocol，用于传送邮件；
pop3：Post Office Protocol
imap4：Internet Mail Access Protocol
- 发送邮件：
  mailx [-s ‘SUBJECT’] username[@hostname]
  邮件正文的生成：
  1. 直接给出，Ctrl+d；
  2. 输入重定向；
  3. 通过管道；
    echo -e “How are you?\nHow old are you?” | mail
- 接收邮件：
  mailx
- 查看邮件：
  mailx 邮件号
at命令：
at [option] TIME
- 常用选项：
  - -V 显示版本信息:
    -l: 列出指定队列中等待运行的作业；相当于atq
    -d: 删除指定的作业；相当于atrm
    -c: 查看具体作业任务
    -f /path/from/somefile：从指定的文件中读取任务
    -m:当任务被完成之后，将给用户发送邮件，即使没有标准输出
    注意：作业执行命令的结果中的标准输出和错误以邮件通知给相关用户
- TIME:定义出什么时候进行 at 这项任务的时间
  - HH:MM [YYYY-mm-dd]
    noon, midnight, teatime（4pm）
    tomorrow
    now+#{minutes,hours,days, OR weeks}
at时间格式
- HH:MM 02:00
  在今日的 HH:MM 进行，若该时刻已过，则明天此时执行任务
- HH:MM YYYY-MM-DD 02:00 2016-09-20
  规定在某年某月的某一天的特殊时刻进行该项任务
- HH:MM[am|pm] [Month] [Date]
  04pm March 17
  17:20 tomorrow
- HH:MM[am|pm] + number [minutes|hours|days|weeks]
  在某个时间点再加几个时间后才进行该项任务
  now + 5 minutes
  02pm + 3 days
at任务
- 执行方式：
  1）交互式 2）输入重定向 3）at –f 文件
- 依赖与atd服务,需要启动才能实现at任务
  - 确认at是否启动
    - centos 6
      是否开机启动
      chconfig –list atd
```
~]# chkconfig --list atd
atd     0:off    1:off    2:off    3:on    4:on    5:on    6:off
1：代表单用户模式；
3：代表纯文本模式
5：代表图形页面
```
      是否现在启动
      service atd status
    - centos 7
      是否开机启动
      systemctl is-enabled atd
      是否现在启动
      systemctl status atd
- at队列存放在/var/spool/at目录中
- /etc/at.{allow,deny}控制用户是否能执行at任务
  - 白名单：/etc/at.allow 默认不存在，当at.allow存在时只有该文件中的用户才能执行at命令，不在此文件的用户不允许；
  - 黑名单：/etc/at.deny 默认存在，拒绝该文件中用户执行at命令，而没有在at.deny 文件中的使用者则可执行
  - 如果两个文件都存在时，at.allow的优先级高
  - 如果两个文件都不存在，只有 root 可以执行 at 命令

batch

让系统自行选择空闲时间去执行此处指定的任务；

cron

相关的程序包：
- cronie: 主程序包，提供crond守护进程及相关辅助工具
- cronie-anacron：cronie的补充程序，用于监控cronie任务执行状况，如cronie中的任务在过去该运行的时间点未能正常运行，则anacron会随后启动一次此任务
- crontabs：包含CentOS提供系统维护任务
计划任务
- crond守护运行状态：
  CentOS 7:
  systemctl status crond
  CentOS 6:
  service crond status
- 计划周期性执行的任务提交给crond，由其到指定时间自动运行
  - 系统cron任务：系统维护作业
    编辑/etc/crontab
  - 用户cron任务：
    crontab命令
- 日志：/var/log/cron

系统cron任务：/etc/crontab

SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root

# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name  command to be executed

示例：晚上9点10分运行echo命令；
    10 21 * * * gentoo /bin/echo "Howdy!"   # 如果命令的路径不在第二行的PATH变量中需指定绝对路径，否则找不到命令；

时间表示法：
(1) 特定值
给定时间点有效取值范围内的值
(2) *
给定时间点上有效取值范围内的所有值；表示“每…”
(3) 离散取值：逗号分隔
#,#,#
(4) 连续取值
#-#
(5) 在指定时间范围上，定义步长
/#: #即为步长

示例：每3小时echo命令
0 */3 * * * centos /bin/echo “howdy!”

时间格

@reboot   Run once after reboot.   重启之后运行
@yearly   0 0 1 1 *
@annually 0 0 1 1 *
@monthly  0 0 1 * *
@weekly   0 0 * * 0
@daily    0 0 * * *
@hourly   0 * * * *

系统的计划任务:
/etc/crontab
/etc/cron.d/ 配置文件
/etc/cron.hourly/ 脚本
/etc/cron.daily/ 脚本
/etc/cron.weekly/ 脚本
/etc/cron.monthly/脚本

anacron系统
- 运行计算机关机时cron不运行的任务，CentOS6以后版本取消anacron服务，由crond服务管理
- 对笔记本电脑、台式机、工作站、偶尔要关机的服务器及其它不一直开机的系统很重要对很有用
```
/usr/bin/on_ac_power
echo $?
0表示电源供电；1表示电池供电；
```
- 配置文件：/etc/anacrontab，
  负责执行/etc/ cron.daily；/etc/cron.weekly ；/etc/cron.monthly中系统任务。
  - 字段1：如果在这些日子里没有运行这些任务……
    字段2：在重新引导后等待这么多分钟后运行它
    字段3：任务识别器，在日志文件中标识
    字段4：要执行的任务
- 由/etc/cron.hourly/0anacron执行
- 当执行任务时，更新/var/spool/anacron/cron.daily 文件
  的时间戳
管理临时文件
- CentOS6使用/etc/cron.daily/tmpwatch定时清除临时文件
- CentOS7使用systemd-tmpfiles-setup服务实现
  - 配置文件：
    /etc/tmpfiles.d/.conf
    /run/tmpfiles.d/.conf
    /usr/lib/tmpfiles/*.conf
  - /usr/lib/tmpfiles.d/tmp.conf
    d /tmp 1777 root root 10d
    d /var/tmp 1777 root root 30d
  - 命令：
    systemd-tmpfiles –clean|remove|create configfile
用户cron
- crontab命令定义，每个用户都有专用的cron任务文件：/var/spool/cron/USERNAME
  /var/spool/cron/ 此目录普通用户不能进入，使用crontab命令可以读取里面自己的cron计划任务文件；
- crontab命令：
  crontab [-u user] [-l | -r | -e] [-i]
  - -l: 列出所有任务；root查看某用户时应-u USERNAME
    -e: 编辑任务；
    -r: 移除所有任务；
    -i：同-r一同使用，以交互式模式让用户有选择的移除指定任务
    -u user: 仅root可运行，代为为指定用户管理cron任务
- 控制用户执行计划任务：/etc/cron.{allow,deny}
  同/etc/at.{allow,deny},只是针对于新建任务，已有的任务还可以执行；
  如何在秒级别运行任务？
  * * * * * for min in 0 1 2;do echo “hi”;sleep 20;done
  - sleep命令：默认是1s
    sleep NUMBER [SUFFIX]…
    SUFFIX:
    s：秒，默认
    m：分
    h：小时
    d：天
  - usleep命令：
    默认是1微秒

at和crontab

一次性作业使用 at

重复性作业使用crontab

at 与 ceontab 比较：

Create       at time           crontab -e
List         at -l             crontab -l       
Details      at -c jobnum      N/A         
Remove       at -d jobnum      crontab -r
Edit         N/A               crontab -e

没有被重定向的输出会被邮寄给用户
根用户能够修改其它用户的作业
注意：运行结果的标准输出和错误以邮件通知给相关用户
(1) COMMAND > /dev/null
(2) COMMAND &> /dev/null
对于cron任务来讲，%有特殊用途；如果在命令中要使用%，则需要转义。将%放置于单引号中，则可不用转义

原创文章，作者：s，如若转载，请注明出处：http://www.178linux.com/75034