进程和计划任务

进程和计划任务

一、 进程

程序：是在磁盘上的一个文件，只要不去运行它就是一个静态文件，不占用内存空间；

进程：process是一个动态的概念，只有当用户将程序运行起来时才会有进程，当进程执行完毕时，就会从内存中删除。

线程：thread   pstree –p 命令显示中｛｝中的即为线程。

一个进程会对应一个程序，而一个程序可能会对应多个进程。

一个进程里至少有一个线程。

 

进程ID（Process ID，PID）号码被用来标记各个进程

除了PID还有一些额外信息，例如：UID（谁运行了这个程序）、GID（运行者所属主组）、和SELinux语境决定对文件系统的存取和访问权限

task struct（任务结构）：存放了进程的必要信息；（PID,UID,GID,SELinux）每个进程都有一个struct。

task list：多个任务的的task struct组成的链表

系统中的第一个进程 ：init（Centos6）

system(Centos7)

fork（生成子进程）, clone（生成子进程以及兄弟进程）都可以用来生成下一级的子进程。

在生成进程时为了优化空间一般来说都会采用CoW（Copy on Write 写时复制）机制；

 

进程的状态：创建、就绪、阻塞、执行、终止。

创建状态：进程在创建时需要申请一个空白PCB(process control block进程控制块)，向其中填写控制和管理进程的信息，完成资源分配。如果创建工作无法完成，比如资源无法满足，就无法被调度运行，把此时进程所处状态称为创建状态

  就绪状态：进程已准备好，已分配到所需资源，只要分配到CPU就能够立即运行

  执行状态：进程处于就绪状态被调度后，进程进入执行状态

  阻塞状态：正在执行的进程由于某些事件（I/O请求，申请缓存区失败）而暂时无法运行，进程受到阻塞。在满足请求时进入就绪状态等待系统调用

  终止状态：进程结束，或出现错误，或被系统终止，进入终止状态。无法再执行

 

进程优先级：

系统优先级：数字越小，优先级越高

0-139（CentOS4,5）

各有140个运行队列和过期队列 （同级的运行队列中若任务全部完成，则过期队列转化为同级的运行队列）

0-98，99（CentOS6）

实时优先级: 99-0 值最大优先级最高

nice值：-20到19，对应系统优先级100-139或99

Big O：时间复杂度，用时和规模的关系。

 

进程内存：

Page Frame: 页框，用存储页面数据，存储Page 4k

LRU：Least Recently Used 近期最少使用算法,释放内存 ，存放缓存数据的基本算法。

内存空间：物理地址空间和线性地址空间

MMU：Memory Management Unit（内存处理单元）负责转换线性和物理地址

TLB:Translation Lookaside Buffer （翻译后备缓冲器）用于保存虚拟地址和物理地址映射关系的缓存

IPC: Inter Process Communication （进程间通讯）

同一主机: signal:信号

shm: shared memory （共享内存）

semaphore:信号量，一种计数器 ，表示资源是否可用

不同主机：socket: IP和端口号

RPC: remote procedure call (远程过程调用)

MQ：消息队列，Kafka，ActiveMQ

进程类型：

守护进程（后台执行）: daemon,在系统引导过程中启动的进程，和终端无关进程

前台进程（前台执行）：跟终端相关，通过终端启动的进程，占用终端资源

进程状态：

运行态：running

就绪态：ready

睡眠态：

可中断：interruptable

不可中断：uninterruptable

停止态：stopped,暂停于内存，但不会被调度，除非手动启动

僵死态：zombie，结束进程，父进程结束前，子进程不关闭

R：running

S: interruptable sleeping

D: uninterruptable sleeping

T: stopped

Z: zombie

+: 前台进程

l: 多线程进程

L：内存分页并带锁

N：低优先级进程

<: 高优先级进程

s: session leader，会话（子进程）发起者

 

进程的分类：

CPU-Bound：CPU密集型，非交互

IO-Bound：IO密集型，交互

Linux系统状态的查看及管理工具：pstree, ps, pidof, pgrep, top, htop, glance, pmap, vmstat, dstat, kill, pkill, job, bg, fg, nohup

pstree   显示进程树

pstree –p  显示详细的进程树

ps: process state 显示进程状态，基于快照，即当时瞬间状态，默认显示当前这一个用户的前台进程。（不包括后台进程以及与终端无关的进程）

Linux系统各进程的相关信息均保存在/proc/PID目录下的各文件中

ps支持三种选项：

UNIX选项 如-A -e

BSD选项 如a

GNU选项 如—help

选项：ps默认显示当前终端中的进程

ps  a 选项包括所有终端中的进程

x 选项包括不链接终端的进程

u 选项显示进程所有者的信息

f 选项显示进程树,相当于 –forest

k|–sort 属性 对属性排序,属性前加- 表示倒序

o 属性… 选项显示定制的信息 pid、cmd、%cpu、%mem

L 显示支持的属性列表

-C cmdlist 指定命令，多个命令用，分隔

  -L 显示线程

-e: 显示所有进程，相当于-A

  -f: 显示完整格式程序信息

  -F: 显示更完整格式的进程信息

  -H: 以进程层级格式显示进程相关信息

  -u userlist 指定有效的用户ID或名称

  -U userlist 指定真正的用户ID或名称

-g gid或groupname 指定有效的gid或组名称

  -G gid或groupname 指定真正的gid或组名称

-p pid 显示指pid的进程

–ppid pid 显示属于pid的子进程

-M 显示SELinux信息，相当于Z

 

ps xo ni: nice值

    pri: priority 优先级

    psr: processor CPU编号

    rtprio: 实时优先级

 

使用watch实用程序执行重复的输出以实现对就程进行实时的监视，如下面的命令显示每秒钟的监视：

watch -n 1 ‘ps -eo pid,ppid,cmd,%mem,%cpu –sort=-%mem | head’

 

renice命令： 可以调整进程nice优先级。

renice [-n] priority pid…

例：renice  -n  -10  2162      将2162号进程nice优先级调为-10

nice命令： 可以指定程序的优先级运行。

nice [OPTION] [COMMAND [ARG]…]

例：nice –n -5 cmd     以-5的优先级运行cmd程序

nice -5 cmd         以5的优先级运行cmd程序

nice –5 cmd        以-5的优先级运行cmd程序

 

按预定义的模式搜索进程： pgrep [options] pattern （支持正则表达式）

pgrep   -u uid: effective user，生效者

-U uid: real user，真正发起运行命令者

-t terminal: 与指定终端相关的进程

-l: 显示进程名

-a: 显示完整格式的进程名

-P pid: 显示指定进程的子进程

按确切的程序名称搜索进程：pidof

例：pidof  bash      显示bash进程的PID

 

uptime

显示当前时间，系统已启动的时间、当前上线人数，系统平均负载（指在特定时间间隔内运行队列中的平均进程数）。

load overage  ____1____  ____2____  ____3____

1.1分钟内的平均负载

2.5分钟内的平均负载

3.10分钟内的平均负载

注：平均负载值一般不会超过1

 

top：    动态观察进程

输入  P：以占据的CPU百分比,%CPU 排序

M：占据内存百分比,%MEM 排序

T：累积占据CPU时长,TIME+ 排序

q: 退出观察界面

s: 修改刷新时间间隔

k：终止指定进程

l：首部信息显示uptime信息

t：首部信息显示tasks及cpu信息

1(数字一)：首部信息显示cpu分别显示

m：首部信息显示memory信息

W：保存文件

top   -d # 指定刷新时间间隔为#秒，默认为3秒

-b    全部显示所有进程

-n #  刷新#次后退出

 

htop命令：EPEL源

htop -d #: 指定延迟时间；

-u UserName: 仅显示指定用户的进程

-s COLUME: 以指定字段进行排序

s: 跟踪选定进程的系统调用

l: 显示选定进程打开的文件列表

a：将选定的进程绑定至某指定CPU核心

t: 显示进程树

 

free [OPTION]:显示内存空间使用状态

free -b 以字节为单位

-m 以MB为单位

-g 以GB为单位

-h 易读格式

-o 不显示-/+buffers/cache行

-t 显示RAM + swap的总和

-s n 刷新间隔为n秒

-c n 刷新n次后即退出

 

vmstat命令：查看虚拟内存信息 ，默认执行完就退出，也可以通过加数字来动态观察。

例：vmstat 2 5      2秒执行命令一次，执行5次后退出

io:   bi：从块设备读入数据到系统的速率(kb/s)

bo: 保存数据至块设备的速率

swap： si：从磁盘交换进内存的数据速率(kb/s)

so：从内存交换至磁盘的数据速率(kb/s)

 

iostat:统计CPU和设备IO信息

 

pmap命令：显示进程对应的内存映射关系

pmap –x  显示详细的信息

脏数据：正在修改尚未结束的数据

 

glances命令：EPEL源 ，远程监控远程主机上的状态。

 

dstat命令：系统资源统计,代替vmstat,iostat

dstat -c: 显示cpu相关信息

-d: 显示disk相关信息

-g：显示page相关统计数据

-m: 显示memory相关统计数据

-n: 显示network相关统计数据

-p: 显示process相关统计数据

-r: 显示io请求相关的统计数据

-s: 显示swapped相关的统计数据

–top-cpu：显示最占用CPU的进程

–top-io: 显示最占用io的进程

–top-mem: 显示最占用内存的进程

–top-latency: 显示延迟最大的进程

 

iotop命令是一个用来监视磁盘I/O使用状况的top类工具

 

kill命令： 向进程发送控制信号，以实现对进程管理,每个信号对应一个数字，信号名称以SIG开头（可省略），不区分大小写

查看常用信号：man 7 signal

1) SIGHUP: 无须关闭进程而让其重读配置文件

2) SIGINT: 中止正在运行的进程；相当于Ctrl+c

3) SIGQUIT:相当于ctrl+\

9) SIGKILL: 强制杀死正在运行的进程

15) SIGTERM：终止正在运行的进程

18) SIGCONT：继续运行

19) SIGSTOP：后台休眠

指定信号的方法：

(1) 信号的数字标识：1, 2, 9

(2) 信号完整名称：SIGHUP

(3) 信号的简写名称：HUP

 

killall (-15) sleep   杀死同样名字为sleep的程序。（killall默认为15号信号）

 

pkill [options] pattern（支持正则表达式）

-SIGNAL（信号编号）

-u uid: effective user，生效者

-U uid: real user，真正发起运行命令者

-t terminal: 与指定终端相关的进程

-l: 显示进程名（pgrep可用）

-a: 显示完整格式的进程名（pgrep可用）

-P pid: 显示指定进程的子进程

 

作业管理：

查看当前终端所有作业：jobs

将命令从前台执行改为后台执行：cmd  &

将#号命令从后台放回前台：fg  #

将前台命令放入后台，但会使命令处于休眠状态：ctrl + z

将#号命令从休眠状态恢复到运行状态：bg  #

关闭#号命令：kill  %#

 

后台作业虽然被送往后台运行，但其依然与终端相关；退出终端，将关闭后台作业。如果希望送往后台后，剥离与终端的关系

nohup COMMAND &>/dev/null &

screen;COMMAND（创建会话）

 

多进程并行执行：

方法一：编写脚本

vi all.sh

f1.sh&

f2.sh&

f3.sh&

方法二：

(f1.sh&);(f2.sh&);(f3.sh&)

方法三：

{ f1.sh& f2.sh& f3.sh& }

 

二、任务管理

未来的某时间点执行一次任务：at

周期性运行某任务：cron

 

执行一次任务：

at  -V 显示版本信息:

-l: 列出指定队列中等待运行的作业；相当于atq

-d: 删除指定的作业；相当于atrm

-c: 查看具体作业任务

-f /path/from/somefile：从指定的文件中读取任务

-m:当任务被完成之后，将给用户发送邮件，即使没有标准输出

at的时间格式：

  at now + #minutes    15分钟后执行命令

at 02pm + 3day       三天后的下午2点执行命令

 

noon, midnight, teatime（4pm）

tomorrow

now+#{minutes,hours,days, OR weeks}

 

白名单：/etc/at.allow 默认不存在，只有该文件中的用户才能执行at命令

黑名单：/etc/at.deny 默认存在，拒绝该文件中用户执行at命令，而没有在at.deny 文件中的使用者则可执行

如果两个文件都不存在，只有 root 可以执行 at 命令

若两个文件都存在则只有在白名单的用户才可以使用at命令

 

周期性运行任务：

确保crond守护处于运行状态：

CentOS 7:

systemctl status crond

CentOS 6:

service crond status

 

系统cron任务:vim  /etc/crontab

 

# .—————- minute (0 – 59)

# | .————- hour (0 – 23)

# | | .———- day of month (1 – 31)

# | | | .——- month (1 – 12) OR jan,feb,mar,apr …

# | | | | .—- day of week (0 – 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat

# | | | | |

# * * * * * user-name command to be executed

分 时 日 月 周几 执行人  命令

*/10   每10分钟执行一次

‘日’和‘周几’时“或”的关系

@monthly    每个月一号0点执行任务

@reboot     每次启动系统时执行任务

@yearly     每年一月一日0点执行任务

@daily      每天0点执行任务

@hourly     每个小时0分执行任务

@weekly     每周日0点执行任务

 

crontab   -l: 列出所有任务

-e: 编辑任务

-r: 移除所有任务

-i：同-r一同使用，以交互式模式移除指定任务

-u user: 仅root可运行，指定用户管理cron任务

控制用户执行计划任务：

/etc/cron.{allow,deny}        （与at的黑白名单相同）

 

注：可以利用sleep命令达到秒级运行任务。

例：vim  f1.sh

cmd

sleep  20

cmd

sleep  20                     实现了每20秒执行一次任务

cmd

 

vim  /etc/crontab

* * * * * f1.sh

 

sleep命令：

sleep NUMBER[SUFFIX]…

SUFFIX:

s: 秒, 默认

m: 分

h: 小时

d: 天