进程管理的总结

进程相关概念：

Process: 运行中的程序的一个副本，是被载入内存的一个指令集合。进程是程序的基本执                      行实体；程序是指令、数据及其组织形式的描述，进程是程序的实体

Process ID：进程的标记号码

task struct：Linux内核存储进程信息的数据结构格式

task list：多个任务的的task struct组成的链表

进程内存：

Page Frame：页框，用存储页面数据，存储Page 4k（给进程分配的内存空间）

物理地址空间和线性地址空间

MMU：Memory Management Unit负责转换线性和物理地址（内存管理单元）                                                                                                   cpu物理设备

TLB：Translation Lookaside Buffer 翻译后备缓冲器,用于保存虚拟地址和物理地址                                                                                     映射关系的缓存

IPC: Inter Process Communication 进程间通信

同一主机: signal:信号

shm: shared memory 共享内存

semaphore:信号量，一种计数器 也叫进程锁

不同主机：socket: IP和端口号

RPC: remote procedure call 远程过程调用（socket实现）

MQ ：消息队列，Kafka ，ActiveMQ

LRU算法

LRU ：Least Recently Used 近期最少使用算法,释放内存

init（systemd）：Linux的第一个进程

进程的特点

一般情况 进程存在生命周期

进程由父进程创建或系统调用创建;systen call API 调用fock()函数，clone()函数。

进程存在父子关系、

进程有优先级之分：系统进程优先级：数字越小，优先级越高

实时进程优先级：数字越大，优先级越高

nice值：-20到19，数字越小，优先级越高

只有根用户才能调整优先级

进程有五种状态:

创建状态：进程在创建时需要申请一个空白PCB(进程控制块)，向其中填写控制和管理进程            的信息，完成资源分配

就绪状态：进程已经准备好，已分配到所需资源，只要分配到CPU就能够立即运行

执行状态：进程处于就绪状态被调度后，进程进入执行状态

阻塞状态：正在执行的进程由于某些事件（I/O请求，申请缓存区失败）而暂时无法运行，进程受到阻塞。在满足请求时进入就绪状态等待系统调用

终止状态：进程结束，或出现错误，或被系统终止，进入终止状态。无法再执行

进程优先级的算法：

LRU算法

Linux内核：抢占式多任务

进程类型：

守护进程: daemon,在系统引导过程中启动的进程，和终端无关进程

前台进程：跟终端相关，通过终端启动的进程 注意：两者可相互转化

进程状态：

运行态：running

就绪态：ready

睡眠态：

可中断：interruptable

不可中断：uninterruptable

停止态：stopped,暂停于内存，但不会被调度，除非手动启动

僵死态：zombie ，结束进程，父进程结束前，子进程不关闭

进程的管理工具

Linux系统各进程的相关信息均保存在/proc/PID目录下的各文件中

pstree,     display a tree of processes 显示进程树

pstree [OPTIONS] [PID,USER]

选项：

-p, –show-pids     show PIDs; implies -c 显示进程和PID

-p,user                        显示某个用户启用的进程

-s,pid                           显示当前父进程

-ps,pid                        显示pid进程的父子链路关系

-H,pid                          高亮显示

{线程}：，是程序执行流的最小单元。线程是进程中的一个实体，是被系统独立调度和分派的基本单位，线程自己不拥有系统资源，只拥有一点儿在运行中必不可少的资源，但它可与同属一个进程的其它线程共享进程所拥有的全部资源。一个标准的线程由线程ID，当前指令指针(PC），寄存器集合和堆栈组成。另外，一个线程可以创建和撤消另一个线程，同一进程中的多个线程之间可以并发执行。由于线程之间的相互制约，致使线程在运行中呈现出间断性。线程也有就绪、阻塞和运行三种基本状态。就绪状态是指线程具备运行的所有条件，逻辑上可以运行，在等待处理机；运行状态是指线程占有处理机正在运行；阻塞状态是指线程在等待一个事件（如某个信号量），逻辑上不可执行。每一个程序都至少有一个线程，若程序只有一个线程，那就是程序本身。

线程是程序中一个单一的顺序控制流程。进程内一个相对独立的、可调度的执行单元，是系统独立调度和分派CPU的基本单位指运行中的程序的调度单位。在单个程序中同时运行多个线程完成不同的工作，称为多线程。

 

ps,    report a snapshot of the current processes 查看当前进程

ps支持三种格式的选项：Unix风格 -A -e

BSD风格 a

GNU/Linux 风格 –a –help

选项：默认显示当前终端中的进程

a    选项包括所有终端中的进程

x    选项包括不链接终端的进程

u    选项显示进程所有者的信息

f    选项显示进程树,相当于 –forest

k|–sort  属性 对属性排序,属性前加- 表示倒序

o    属性… 选项显示定制的信息 pid、cmd、%cpu、%mem

L 显示支持的属性列表

常用选项有这些：

-C：cmdlist 程序名，某个程序对应的进程信息

-L：显示线程

-e: 显示所有进程，相当于-A

-f: 显示完整格式程序信息

-F: 显示更完整格式的进程信息

-H: 以进程层级格式显示进程相关信息

-u： userlist  指定有效的用户ID或名称

-U：userlist 指定真正的用户ID或名称

-g：gid或groupname            指定有效的gid或组名称

-G：gid或groupname             指定真正的gid或组名称

-p： pid 显示指pid的进程

–ppid：pid  显示属于pid的子进程

-M  显示SELinux信息，相当于Z

常用组合有这些：aux

-ef

-eFH

-eo pid,tid,class,rtprio,ni,pri,psr,pcpu,stat,comm

axo stat,euid,ruid,tty,tpgid,sess,pgrp,ppid,pid,pcpu,comm

ps的输出属性是这样的：

USER:用户信息

PID：进程号

PPID：父进程的ID号

%CPU：进程所占用CPU时间片与CPU空闲时间片的百分比

C: 进程所占用CPU时间片与CPU空闲时间片的百分比

PSR：CPU核心上跑的进程

%MEM：进程所占用的内存空间与总空间的大小的百分比

VSZ:：Virtual memory SiZe ，虚拟内存集，线性内存

TTY：进程占用的终端号，也有非占用终端的进程 (?)

RSS:：ReSident Size, 常驻内存集

STAT ：进程状态

R ：running 运行态

S: interruptable sleeping 可中断的睡眠态

D: uninterruptable sleeping不可中断的睡眠态

T: stopped 停止态

Z: zombie 僵尸态

+: 前台进程

l: 多线程进程

L ：内存分页并带锁

N ：低优先级进程

<: 高优先级进程

s: session leader ，会话（子进程）发起者

START：进程启动的时间和日期

TIME：进程使用的所有CPU时间

COMMAND：发起进程的命令

PS实例：

查询你拥有的所有进程：

ps -x

显示指定用户名(RUID)或用户ID的进程：

ps -fU apache

ps -fu 48

显示指定用户名(EUID)或用户ID的进程：

ps -fu wang

ps -fu 1000

查看以root用户权限（实际和有效ID ）运行的每个进程：

ps -U root -u root

列出某个组拥有的所有进程（实际组ID ：RGID或名称）：

ps -fG nginx

列出有效组名称（或会话）所拥有的所有进程：

ps -fg mysql

ps -fG 27

通过进程ID来显示所属的进程：

ps -fp 1234

以父进程ID来显示其下所有的进程，如显示父进程为1154的

所有进程：

ps -f –ppid 1234

显示指定PID的多个进程：

ps -fp 1204,1239,1263

要按tty显示所属进程:

ps -ft pst/0

以进程树显示系统中的进程如何相互链接:

ps -e –forest

以进程树显示指定的进程：

ps -f –forest -C sshd

ps -ef –forest | grep -v grep | grep sshd

要显示一个进程的所有线程,将显示LWP （轻量级进程）以及NLWP （轻量级进程数） 列:

ps -fL -C nginx

要列出所有格式说明符:

ps L

查看进程的PID ，PPID ，用户名和命令：

ps -eo pid,ppid,user,cmd

自定义格式显示文件系统组,ni值开始时间和进程的时间：

ps -p 1234 -o pid,ppid,fgroup,ni,lstart,etime

使用其PID查找进程名称：

ps -p 1244 -o comm=

要以其名称选择特定进程，显示其所有子进程

ps -C sshd,bash

查找指定进程名所有的所属PID ，在编写需要从std输出或文件读取PID的脚本时这个 参数很有用：

ps -C httpd,sshd -o pid=

检查一个进程的执行时间

ps -eo comm,etime,user | grep nginx

查找占用最多内存和CPU的进程：

ps -eo pid,ppid,cmd,%mem,%cpu –sort=-%mem | head

ps -eo pid,ppid,cmd,%mem,%cpu –sort=-%cpu | head

显示安全信息：

ps -eM

ps –context

使用以下命令以用户定义的格式显示安全信息。

ps -eo euser,ruser,suser,fuser,f,comm,label

使用watch实用程序执行重复的输出以实现对就程进行实时的监视，如下面的命令显每          秒钟的监视：

watch -n 1 ‘ps -eo pid,ppid,cmd,%mem,%cpu –sort=-%mem | head’

 

pidof：find the process ID of a running program. 查找程序进程ID

pidof 进程名

这个命令可以实现监控某一个服务。

实例：

监控httpd服务

如果pidof httpd，没有返回值，说明进程没有启动，则执行restart。如果有值，服务正 常运行。

 

pgrep：pkill – look up or signal processes based on name and other attributes pkill – 根据名称         和其他属性查找或发出进程

pgrep [options] pattern

-u uid: effective user ，生效者

-U uid: real user ，真正发起运行命令者

-t terminal: 与指定终端相关的进程

-l: 显示进程名

-a: 显示完整格式的进程名

-P pid: 显示指定进程的子进程

 

top：display Linux tasks 显示Linux任务信息

top命令 栏位信息简介

第一栏是uptime命令输出的格式

us ：用户空间

sy ：内核空间

ni ：调整nice时间

id ：空闲CPU

wa ：等待IO时间

hi ：硬中断

si ：软中断（模式切换）

st ：虚拟机偷走的时间

top：有许多内置命令：

各个单独的键，实际上是设置top的显示方式，W可以保存配置。以便下次以同样的方式开启。

排序：

P ：以占据的CPU百分比,%CPU

M ：占据内存百分比,%MEM

T ：累积占据CPU时长,TIME+

首部信息显示：

uptime信息关闭或打开：l字母

tasks及cpu信息显示方式：t字母

cpu分别显示：1 (数字)

改变显示颜色：z 字母

memory信息：m命令

退出命令：q

修改刷新时间间隔：s

终止指定进程：k

保存文件：W

选项：

-d #: 指定刷新时间间隔，默认为3秒

-b: 全部所有进程

-n #: 刷新多少次后退出

 

htop：interactive process viewer 交互式流程式查看器

选项：

-d #: 指定延迟时间；

-u UserName: 仅显示指定用户的进程

-s COLUME: 以指定字段进行排序

子命令：

s: 跟踪选定进程的系统调用

l: 显示选定进程打开的文件列表

a：将选定的进程绑定至某指定CPU核心

t: 显示进程树

strace：跟踪系统调用和信号

lsof：list open files

lsof  -i 22 查看某个端口是否被占用

glances：A cross-platform curses-based monitoring tool 跨平台的curses监控工具

EPEL源

glances [-bdehmnrsvyz1] [-B bind] [-c server] [-C conffile] [-p port] [-P password] [–password]            [-t refresh] [-f file] [-o output]

内建命令：

a  Sort processes automatically       l  Show/hide logs

c  Sort processes by CPU%              b  Bytes or bits for network I/O

m  Sort processes by MEM%             w   Delete warning logs

p  Sort processes by name              x  Delete warning and critical logs

i  Sort processes by I/O rate          1  Global CPU or per-CPU stats

d  Show/hide disk I/O stats            h  Show/hide this help screen

f  Show/hide file system stats         t  View network I/O as combination

n  Show/hide network stats             u  View cumulative network I/O

s  Show/hide sensors stats            q  Quit (Esc and Ctrl-C also work)

y  Show/hide hddtemp stats

常用选项：

-b: 以Byte为单位显示网卡数据速率

-d: 关闭磁盘I/O模块

-f /path/to/somefile: 设定输入文件位置

-o {HTML|CSV} ：输出格式

-m: 禁用mount模块

-n: 禁用网络模块

-t #: 延迟时间间隔

-1 ：每个CPU的相关数据单独显示

C/S模式下运行glances命令

服务器模式：

glances -s -B IPADDR

-s 绑定服务器（本机IP）

IPADDR: 指明监听的本机哪个地址

 

客户端模式：

glances -c IPADDR

IPADDR ：要连入的服务器端地址

 

pmap：report memory map of a process 报告进程的内存映射

-x 扩展格式显示

vmstat：Report virtual memory statistics 报告虚拟内存的统计信息

vmstat [options] [delay [count]]

procs: 进程

r ：可运行（正运行或等待运行）进程的个数，和核心数有关

b ：处于不可中断睡眠态的进程个数(被阻塞的队列的长度)

memory ：

swpd: 交换内存的使用总量

free ：空闲物理内存总量

buffer ：用于buffer的内存总量

cache ：用于cache的内存总量

swap:

si ：从磁盘交换进内存的数据速率(kb/s)

so ：从内存交换至磁盘的数据速率(kb/s)

io ：

bi ：从块设备读入数据到系统的速率(kb/s)

bo: 保存数据至块设备的速率

system ：

in: interrupts  中断速率，包括时钟

cs: context switch  进程切换速率

cpu ：

us:Time spent running non-kernel code

sy: Time spent running kernel code

id: Time spent idle. Linux 2.5.41前,包括IO-wait time.

wa: Time spent waiting for IO.  2.5.41前，包括in idle.

st: Time stolen from a virtual machine.  2.6.11前, unknown.

选项：

-s: 显示内存的统计数据

 

iotop命令是一个用来监视磁盘I/O使用状况的top类工具。

iotop具有与top相似的UI ，其中包括PID、用户、I/O、进程 等相关信息。可查看每    个进程是如何使用IO

iotop输出

第一行：Read和Write速率总计

第二行：实际的Read和Write速率

第三行：参数如下：

线程ID （按p切换为进程ID ）

优先级

用户

磁盘读速率

磁盘写速率

swap交换百分比

IO等待所占的百分比

线程/进程命令

iotop常用参数

-o, –only只显示正在产生I/O的进程或线程。除了传参，可以在运行过程中按o生效。

-b, –batch非交互模式，一般用来记录日志。

-n NUM, –iter=NUM设置监测的次数，默认无限。在非交互模式下很有用。

-d SEC, –delay=SEC设置每次监测的间隔，默认1秒，接受非整形数据例如1.1。

-p PID, –pid=PID指定监测的进程/线程。

-u USER, –user=USER指定监测某个用户产生的I/O。

-P, –processes仅显示进程，默认iotop显示所有线程。

-a, –accumulated显示累积的I/O ，而不是带宽。

-k, –kilobytes使用kB单位，而不是对人友好的单位。在非交互模式下，脚本编程有用

iotop常用参数和快捷键

 

-t, –time 加上时间戳，非交互非模式

-q, –quiet 禁止头几行，非交互模式，有三种指定方式

-q 只在第一次监测时显示列名

-qq 永远不显示列名

-qqq 永远不显示I/O汇总

dstat：versatile tool for generating system resource statistics用于生成系统资源统计的多功       能工具代替vmstat,iostat

dstat [-afv] [options..] [delay [count]]

-c: 显示cpu相关信息

-C #,#,…,total

-d: 显示disk相关信息

-D total,sda,sdb,…

-g ：显示page相关统计数据

-m: 显示memory相关统计数据

-n: 显示network相关统计数据

-p: 显示process相关统计数据

-r: 显示io请求相关的统计数据

-s: 显示swapped相关的统计数据

–tcp

–udp

–unix

–raw

–socket

–ipc

–top-cpu ：显示最占用CPU的进程

–top-io: 显示最占用io的进程

–top-mem: 显示最占用内存的进程

–top-latency: 显示延迟最大的进程

kill：terminate a process 终止一个进程

向进程发送控制信号，以实现对进程管理,每个信号对应一个数字，信号名称以SIG开头（可省略），不区分大小写

显示当前系统可用信号： kill –l,trap -l

常用信号：man 7 signal

1) SIGHUP: 无须关闭进程而让其重读配置文件

2) SIGINT: 中止正在运行的进程；相当于Ctrl+c

3) SIGQUIT:相当于ctrl+\

9) SIGKILL: 强制杀死正在运行的进程

15) SIGTERM ：终止正在运行的进程

18) SIGCONT ：继续运行

19) SIGSTOP ：后台休眠

指定信号的方法：

(1) 信号的数字标识：1, 2, 9

(2) 信号完整名称：SIGHUP

(3) 信号的简写名称：HUP

按PID ：kill [-SIGNAL] pid …

kill –n SIGNAL pid;kill –s SIGNAL pid

按名称：killall [-SIGNAL]  comm…

按模式：pkill [options] pattern

-SIGNAL

-u uid: effective user ，生效者

-U uid: real user ，真正发起运行命令者

-t terminal: 与指定终端相关的进程

-l: 显示进程名（pgrep可用）

-a: 显示完整格式的进程名 （pgrep可用）

-P pid: 显示指定进程的子进程

pkill：根据名称和其他属性查找或发出进程

 

 

 

 

 

进程优先级的理解：

默认情况优先级越高，越是优先执行，也有多个相同级别的优先级，会使用不同的算法进行优化，（LRU算法），这里主要讲解nice优先级的相关设置：

每个进程的创建，都会在内核中生成相应的链表，存放进程的相关属性和数据结构。（task struct）。每个进程都有相应的两个队列：

一个是 运行队列

一个是 过期队列

进程在队列中来回转换，获取CPU时间片，实现系统进程的优先级

调整nice优先级的命令

nice：运行具有修改调度优先级的程序

实例:

nice -5 ping 127.0..0.1

renice：  改变运行进程的优先级

-n[N][pid]:制定某个运行程序的优先级数字

实例：

renice -n -20 8836

系统工具

uptime

显示当前时间，系统已启动的时间、当前上线人数，系统平均负载（1、5、10分钟的平均负载，一般不会超过1）

系统平均负载:

指在特定时间间隔内运行队列中的平均进程数

通常每个CPU内核的当前活动进程数不大于3 ，那么系统性能良好。如果每个CPU内核的任务数大于5 ，那么此主机的性能有严重问题

如果linux主机是1个双核CPU ，当Load Average 为6的时候说明机器已经被充分使用

依次显示为：系统时间，运行时长，当前在线用户数量和平均负载

Linux作业管理

Linux的作业控制

前台作业：通过终端启动，且启动后一直占据终端；

后台作业：可通过终端启动，但启动后即转入后台运行（释放终端）

让作业运行于后台

(1) 运行中的作业：             Ctrl+z

(2) 尚未启动的作业： COMMAND &

后台作业虽然被送往后台运行，但其依然与终端相关；退出终端，将关闭 后台作业。如果希望送往后台后，剥离与终端的关系

nohup COMMAND &>/dev/null  &

screen;COMMAND

jobs：查看后台运行的程序进程

bg{N}：前后台程序切换 N是数字

fg{N}：将后台的命令调入前台，继续执行 N是数字

kill{N}：终止进程，N是后台进程的编号

并行任务的执行

一般情况想要并行执行某个作业，有以下三种方法：

方法1

vi all.sh

f1.sh&

f2.sh&

f3.sh&

方法2

(f1.sh&);(f2.sh&);(f3.sh&)

方法3

{ f1.sh& f2.sh& f3.sh& }

信号

信号本质：

软中断信号（signal，又简称为信号）用来通知进程发生了异步事件。在软件层次上是对中断机制的一种模拟，在原理上，一个进程收到一个信号与处理器收到一个中断请求可以说是一样的。信号是进程间通信机制中唯一的异步通信机制，一个进程不必通过任何操作来等待信号的到达，事实上，进程也不知道信号到底什么时候到达。进程之间可以互相通过系统调用kill发送软中断信号。内核也可以因为内部事件而给进程发送信号，通知进程发生了某个事件。信号机制除了基本通知功能外，还可以传递附加信息。

Linux系统中的信号分很多种

kill -l：查看信号

trap：可以捕获信号，但对-9 信号无效。

trap -l：也可以查看信号

关于信号的帮助信息可以 man 7 signal

 

常用的信号：

1) SIGHUP: 无须关闭进程而让其重读配置文件

2) SIGINT: 中止正在运行的进程；相当于Ctrl+c

3) SIGQUIT:相当于ctrl+\

9) SIGKILL: 强制杀死正在运行的进程

15) SIGTERM ：终止正在运行的进程

18) SIGCONT ：继续运行

19) SIGSTOP ：后台休眠

指定信号的方法：

(1) 信号的数字标识：1, 2, 9

(2) 信号完整名称：SIGHUP

(3) 信号的简写名称：HUP

按PID ：

kill [-SIGNAL]  pid …

kill –n SIGNAL pid;kill –s SIGNAL pid

按名称：

killall [-SIGNAL]  comm…

按模式：

pkill [options] pattern

-SIGNAL

-u uid: effective user ，生效者

-U uid: real user ，真正发起运行命令者

-t terminal: 与指定终端相关的进程

-l: 显示进程名（pgrep可用）

-a: 显示完整格式的进程名 （pgrep可用）

-P pid: 显示指定进程的子进程

后续陆续更新