Web Service
传输层:提供进程地址
Port number
tcp:传输控制协议,面向连接,通信前需建立虚拟链路,结束后拆除;0-65535
udp:用户数据报协议,无连接;0-65535
IANA
0-1023:众所周知,永久分配给固定应用使用;22/tcp(ssh)、80/tcp(http)、443/tcp(https)
1024-41951:注册端口,分配给程序员注册为某服务使用;11211/udp、tcp(memcached)、3306/tcp(mysql)
41952+:客户端程序随机使用的端口;动态端口、私有端口;其范围定义:/proc/sys/net/ipv4/ip_local_port_range
Socket:IPC的一种实现,允许位于不同主机(甚至同一主机)上的不同进程之间进行通信;数据交换;Socket API
SOCK_STREAM:tcp套接字
SOCK_DGRAM:udp套接字
SOCK_RAM:裸套接字
TCP协议的特性
建立连接,三次握手
将数据打包成段,校验和(CRC-32)
确认、重传、超时
排序、逻辑序号
流量控制,滑动窗口算法
拥塞控制:慢启动,拥塞避免算法
Socket Domain(根据其所使用的地址)
AF_INET:Address Family,IPv4
AF_INET6:IPv6
AF_UNIX:同一主机上不同进程通信时使用
每类套接字都至少提供了两种Socket,流、数据报
流:可靠地传递,面向连接,无边界
数据报:不可靠地传递,有边界
套接字相关的系统调用
socket():创建一个套接字
bind():绑定
listen():监听
accept():接收请求
connect():请求连接建立
write():发送数据
read():接收数据
send()、recv()、sendto()、recvfrom()
http:hyper text transfer protocol
html:编程语言,超文本标记语言
CSS:Cascading Style Sheet
js:javascript
MIME:Multipurpose Internet Mail Extension
工作机制
http请求
http响应
Web资源,web resource
静态文件:jpg、gif、html、txt、js、css、mp3、avi
动态文件:php、jsp
媒体
媒体类型(MIME类型):major/minor
text/html
text/plain
image/jpeg
image/gif
URI:Uniform Resource Identifier
URL:Uniform Resource Locator,用于描述某服务器上某特定资源的位置
Scheme://Server:Port/path/to/resource
URN:Uniform Resource Naming
http协议版本
HTTP/0.9:原型版本,功能简陋
HTTP/1.0:第一个广泛使用的版本,支持MIME
HTTP/1.1:增强了缓存功能
HTTP/2.0:
一次完整的http请求过程
- 建立或处理连接,接收请求或拒绝请求
-
接收请求
接收来自于网络的请求报文中对某资源的一次请求的过程
并发访问响应模型(Web I/O)
单进程I/O结构:只启动一个进程处理用户请求,且一次只处理一个,多个请求串行响应
多进程I/O结构:并行启动多个进程,每个进程响应一个请求
复用I/O结构:一个进程响应多个请求
多线程模型:一个进程生成多个线程,每个线程响应一个用户请求
事件驱动:event-driven
复用的多进程I/O结构:启动多个进程,每个进程响应多个请求
-
处理请求:对请求报文进行解析,并获取请求的资源及请求方法等相关信息
元数据:请求数据首部
<method><URL><VERSION>
Host:请求的主机名称
Connection
-
访问资源:获取请求报文中请求的资源
web服务器,即存放了web资源的服务器,负责向请求者提供对方请求的静态资源,或动态运行后生成的资源,这些资源放置于本地文件系统某路径下,称为DocRoot
web服务器资源路径映射方式
docroot
alias
虚拟主机docroot
用户家目录docroot
-
构建响应报文
资源的MIME类型
显式分类
魔法分类
协商分类
URL重定向
web服务构建的响应并非客户端请求的资源,而是资源另外一个访问路径
- 发送响应报文
- 记录日志
http服务器程序
httpd(apache)
nginx
lighttpd
应用程序服务器
IIS
tomcat,jetty,jboss,resin
webshpere,weblogic,oc4j
httpd的安装配置和使用
httpd:apache
httpd的特性
高度模块化,core+modules
DSO:Dynamic Shared Object
MPM:Multipath Processing Modules
prefork:多进程模型,每个进程响应一个请求
一个主进程负责生成多个子进程,子进程称为工作进程,主进程负责监听套接字,每个子进程处理一个用户请求,即便没有用户请求,也会预先生成多个空闲进程(≤1024),随时等待请求到达
worker:多线程模型(多进程生成,一个进程生成多个线程),一个线程响应一个请求
event:事件驱动模型,一个线程响应多个请求
安装方式
rpm
编译安装
CentOS6
程序环境
配置文件
/etc/httpd/conf/httpd.conf
/etc/httpd/conf.d/*.conf
服务脚本
/etc/rc.d/init.d/httpd
配置文件:/etc/sysconfig/httpd
主程序文件
/usr/sbin/httpd
/usr/sbin/httpd.event
/usr/sbin/httpd.worker
日志文件
/var/log/httpd
access_log:访问日志
error_log:错误日志
站点文档目录
/var/www/html
模块文件路径
/usr/lib64/httpd/modules
配置文件的组成
Section 1:Global Environment
Section 2:”Main” server configuration
Section 3:Virtual Hosts
配置格式:directive value
directive:不区分大小写
value:为路径时,取决于文件系统
常用配置
-
修改监听的IP和端口
Listen [IP:]PORT
省略IP表示监听本机的所有IP,Listen可重复出现多次
-
持久连接
Persistent Connection:连接建立,每个资源获取完成后不会断开连接,而是继续等待其他的请求完成
如何断开?
数量限制:100
时间限制:可配置
副作用:对并发访问量较大的服务器,持久连接功能会使有些请求得不到响应
折中:使用较短的持久连接时间
httpd-2.4支持ms级持久时间
非持久连接
KeepAlive On|Off
MaxKeepAliveRequests n
KeepAliveTimeout n
测试:telnet HOST PORT
GET /URL HTTP/1.1
Host:HOSTNAME or IP
-
MPM,Multipath Process Modules,多道处理模块
prefork、worker、event
httpd-2.2不支持同时编译多个模块,所以只能编译时选定一个,rpm安装的包提供三个二进制程序文件,分别用于实现不同MPM机制的支持
确认方法:ps aux | grep httpd
默认为/usr/sbin/httpd,其使用prefork
查看模块列表
查看静态编译的模块
httpd -l
查看静态编译及动态装载的模块
httpd -M
更换使用的httpd程序
/etc/sysconfig/httpd
HTTPD=
重启服务生效
prefork的配置
<IfModule prefork.c>
StartServers 8
服务器进程启动时启动的进程数MinSpareServers 5
最小空闲进程数MaxSpareServers 20
最大ServerLimit 256
为MaxClients指定的在其生命周期内的最大值MaxClients 256
最大并发请求数MaxRequestsPerChild 4000
一个服务器进程能响应的最大请求数</IfModule>
worker的配置
<IfModule worker.c>
StartServers 4
服务器进程启动时启动的进程数MaxClients 300
服务器端最大启动的线程数MinSpareThreads 25
最小空闲线程数MaxSpareThreads 75
最大ThreadsPerChild 25
MaxRequestsPerChild 0
一个服务器进程能响应的最大请求数</IfModule>
PV、UV
PV:Page View
UV:User View
独立IP量
-
DSO
配置指令实现模块加载
LoadModule <mod_name> <mod_path>
模块路径可使用相对地址,相对于ServerRoot(/etc/httpd)而言,/etc/httpd/modules
-
定义”Main” server的文档页面路径
DocumentRoot
文档路径映射
DocumentRoot指向的路径为URL路径的起始位置
DocumentRoot “/var/www/html”
test/index.html –> http://HOST:PORT/test/index.html
-
站点访问控制
可基于两种类型的路径指明对哪些资源进行访问控制
文件系统路径
<Directory “”> </Directory>
<File “”> </File>
<FileMatch “正则表达式”> </FileMatch>
URL路径
<Location “”> </Location>
<LocationMatch “”> </Location>
访问控制机制
基于来源地址
基于用户账号密码
-
Directory中基于来源地址实现访问控制
-
Options
可用值:Indexes Includes FollowSymLinks SymLinksifOwnerMatch ExecCGI MultiViews None All
Indexes:索引
FollowSymLinks:允许跟踪符号链接文件
- AllowOverride
-
基于来源地址的访问控制机制
Order allow,deny
检查次序,前为例外,后为默认机制Order deny,allow
Allow from all
Deny from all
来源地址
IP地址
NetAddr
172.16
172.16.0.0
172.16.0.0/16
172.16.0.0/255.255.0.0
-
-
定义默认主页面
DirectoryIndex index.html index.html.var
-
日志设定
错误日志
ErrorLog logs/error_log
LogLevel warn
debug, info, notice, warn, error, crit,
alert, emerg.访问日志
CustomLog logs/access_log combined
LogFormat “%h %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”” combined
%h:客户端IP地址
%l:Remote logname (from identd, if supplied). -表示为空
%u:Remote user(from auth; may be bogus if return status (%s) is 401)
%t:Time the request was received (standard english format)
%r:First line of request,请求报文的首行信息
%s:响应状态码
%b:响应报文的大小,单位为byte,不包含响应报文首部
%{Referer}i:请求报文中”referer”首部的值,当前资源的访问入口,及从哪个页面中的超链接跳转而来
%{User-Agent}i:请求报文中”User-Agent”首部的值,及发出请求用到的应用程序
详情: http://httpd.apache.org/docs/2.2/mod/mod_log_config.html#formats
-
路径别名
Alias /URL/ “PATH/TO/SOMEDIR/”
Alias /bbs/ “/forum/htdocs”
http: //www.123.com/bbs/index.html
–> /forum/htdocs/bbs/
-
设定默认字符集
AddDefaultCharset UTF-8
GBK、GB2312、GB18030
-
基于用户的访问控制
认证质询
WWW-Authenticate:响应码为401,拒绝客户端请求,并说明要求客户端提供账号和密码
认证
Authorization:客户端用户填入账号和密码后再次发送请求报文,认证通过,则服务器发送响应的资源
认证方法
basic:明文
digest:消息摘要
安全域:需要用户通过认证后才能访问的路径
应该通过名称对其进行标识,并用于告知用户认证的原因
用户的账号和密码存储于何处
虚拟账号:仅用于访问某服务时用到的认证标识
存储
文本文件
SQL数据库
ldap
nis
basic认证
-
定义安全域
<Directory “”>
Options None
AllowOverride None
AuthType Basic
AuthName “STRING”
AuthUserFile “/PATH/TO/HTTPD_USER_PASSWD_FILE”
Require user username1 username2 …
</Directory>
允许账号文件中的所有用户登录访问
Require valid-user
-
提供账号和密码存储
使用htpasswd命令进行管理
htpasswd [options] passwordfile username
-c:自动创建passwordfile,因此,仅应该在添加第一个用户时使用
-m:md5加密用户密码
-s:sha1加密用户密码
-D:删除指定用户
-
实现基于组进行认证
<Directory “”>
Options None
AllowOverride None
AuthType Basic
AuthName “STRING”
AuthUserFile “/PATH/TO/HTTPD_USER_PASSWD_FILE”
AuthGroupFile “/PATH/TO/HTTPD_GROUP_PASSWD_FILE”
Require group group1 group2…
</Directory>
要提供用户账号文件和组文件
组文件:每行定义一个组
GRP_NAME:user1 user2…
-
-
虚拟主机
三种实现方案
基于IP
为每个虚拟主机准备至少一个IP地址
基于port
为每个虚拟主机准备至少一个专用port,实践中少用
基于hostname
为每个虚拟主机准备至少一个专用hostname
可混合使用三种方式中任意方式
一般虚拟主机不要与中心主机混用,要使用虚拟主机,先禁用中心主机
禁用中心主机:注释DocumentRoot
每个虚拟主机都有专用配置
<VirtualHost “IP:PORT”>
ServerName
DocumentRoot “”
<Directory “”>
</Directory>
</VirtualHost>
ServerAlias:虚拟主机的别名
ErrorLog
CustomLog
-
内置的status页面
<Location /server-status>
SetHandler server-status
Order deny,allow
Deny from all
Allow from .example.com
</Location>
http协议和httpd的配置
URL:Uniform Resource Locator
URL方案:scheme
服务器地址:ip:port
资源路径
<Scheme>://<user>:<password>@<Server>:<Port>/<path/to/resource>;<params>?<query>#<frag>
params:参数
query:查询
frag:锚定符
相对URL
绝对URL
http协议
http/0.9,http/1.0,http/1.1,http/2.0
http协议:stateless
服务器无法持续追踪访问者来源
cookie,session
http事务
请求:request
响应:response
报文语法格式
request报文
<method> <request-URL> <version>
<headers>
<entity-body>
response报文
<version> <status> <reason-phrase>
<headers>
<entity-body>
method:请求方法,标明客户端希望服务器对资源执行的动作
GET、HEAD、POST、PUT、DELETE、OPTIONS、TRACE
version
HTTP/<major>.<minor>
status
三位数字:如200、301、302、404、502;标记请求过程中发生的情况
reason-phrase
状态码所标记的状态的简要描述
headers
每个请求或响应报文可包含任意个首部,每个首部都有首部名称,后面跟一个冒号,而后跟上一个可选空格,接着是值
entity-body:请求时附加的数据或响应时附加的数据
method(方法)
GET:从服务器获取一个资源
HEAD:只从服务器获取文档的响应首部
POST:向服务器发送服务器要处理的数据
PUT:将请求的主体部分直接存储在服务器上
DELETE:请求删除服务器上指定的文档
TRACE:追踪请求到达服务器中间经过的代理服务器
OPTIONS:请求服务器返回对指定资源支持使用的请求方法
协议查看或分析工具:tcpdump、tshark、wireshark
status(状态码)
1xx:100-101,信息提示
2xx:200-206,成功类的信息
3xx:300-305,重定向
4xx:400-415,错误类信息,客户端错误
5xx:500-505,错误类信息,服务器端错误
常用状态码
200:成功响应,请求的所有数据通过响应报文的entity-body部分发送,OK
301:请求的URL指向的资源已经被删除,但在响应报文中通过首部Location指明了资源现在所处的新位置;Moved Permanently
302:与301相似,但在响应报文中指定的为资源现在所处的临时新位置;Found
304:客户端发出了条件式请求,但服务器上的资源未曾发生变化,则通过响应此响应状态码通知客户端;Not Modified
401:需要输入账号和密码才能访问资源,Unauthorized
403:请求被禁止;Forbidden
404:服务器无法找到客户端请求的资源;Not Found
500:服务器内部错误;Internal Server Error
502:代理服务器从后端服务器收到一条伪响应;Bad Gateway
headers
格式
Name: Value
首部的分类
通用首部
Date:报文的创建时间
Connection:连接状态,keepalive、close
Via:显示报文经过的中间节点
Cache-Control:控制缓存
Pragma
请求首部
Accept:通知服务器自己能够接受的媒体类型
Accept-Charset:接受的字符集
Accept-Encoding:接受的编码格式
Accept-Language:接受的语言
Client-IP
Host:请求的服务器名称和端口号
Referer:包含当前正在请求的资源的上一级资源
User-Agent:客户端代理,浏览器类型
条件式请求首部
Expect
If-Modified-Since:自从指定的时间后,请求的资源是否发生过修改
If-UnModified-Since
If-None-Match:本地缓存中存储的文档的Etag是否与服务器文档的Etag不匹配
If-Match
安全请求首部
Authorization:向服务器发送认证信息,如账号密码
Cookie:客户端向服务器发送cookie
Cookie2
代理请求首部
Proxy-Authorization:向代理服务器认证
响应首部
信息性
Age:响应持续时长
Server:服务器程序软件名称和版本
协商首部:某资源有多种表示方法时使用
Accept-Ranges:服务器可接受的请求范围类型
Vary:服务器查看的其他首部列表
安全响应首部
Set-Cookie:向客户端设置Cookie
Set-Cookie2
WWW-Authenticate:来自服务器对客户端的质询认证表单
实体首部
Allow:列出对此实体可使用的请求方法
Location:告知客户端真正的实体位于何处
Content-Encoding
Content-Language
Content-Length:实体的长度
Content-Location:实体真正所处位置
Content-Type:实体的对象类型
缓存相关
Etag:实体的扩展标签
Expires:实体的过期时间
Last-Modified:最后一次修改的时间
扩展首部
httpd-2.2
curl命令
curl是基于URL语法在命令行方式下工作的文件传输工具,支持FTP、SFTP、HTTP、HTTPS、GOPHER、TELNET、DICT、FILE、LDAP等协议,支持HTTPS认证,支持HTTP的POST、PUT等方法、FTP上传
kerberos认证,HTTP上传,代理服务器,Cookie,用户名/密码认证
上传下载断点续传,http代理服务器管道,IPv6
socks5代理服务器,通过http代理服务器上传文件到FTP服务器等
curl [option] URL
-A/–user-agent:设置用户代理发送给服务器
–basic:使用http基本认证
-e/–referer URL:来源地址
–cacert FILE:CA证书
–compressed:要求返回的压缩格式
-H/–header <line>:自定义头部信息传递给服务器
-I/–head:只显示响应报文首部信息
–limit-rate:设置传输速度
-u/–user <user[:password]>:设置服务器的用户名和密码
-0/–http1.0:使用HTTP1.0
elinks
elinks [option] URL
-dump:不进入交互模式,而直接将URL的内容输出至标准输出
使用mod_deflate模块压缩页面优化传输速度
适用场景
节约带宽,额外消耗CPU,较老浏览器可能不支持
压缩适于压缩的资源,如文本文件
https
http over ssl = https 443/tcp
SSL会话的简化过程
- 客户端发送可供选择的加密方式,并向服务器请求证书
- 服务器端发送证书以及选定的加密方式给客户端
-
客户端取得证书并进行证书验证
如果信任给其发证书的CA
a、验证证书来源的合法性,用CA的公钥解密证书上的数字签名
b、验证证书内容的合法性,完整性校验
c、检查证书的有效期限
d、检查证书是否被吊销
e、证书拥有者的名字,与访问的目标主机要一致
- 客户端生成临时会话密钥(对称密钥),并使用服务器端的公钥加密此数据发送给服务器,完成密钥交换
-
服务器用此密钥加密用户请求的资源,响应给客户端
SSL会话是基于IP地址创建,所以单IP的主机上,仅可以使用一个https虚拟主机
配置httpd支持https
-
测试:通过私建CA发证书
a、创建私有CA
b、在服务器创建证书签署请求
c、CA签证
-
配置httpd支持使用ssl及使用的证书
yum install mod_ssl
配置文件:/etc/httpd/conf.d/ssl.conf
DocumentRoot
ServerName
SSLCertificateFile
SSLCertificateKeyFile
-
测试基于https访问响应的主机
openssl s_client [-connect host:port] [-cert filename] [CApath directory] [-CAfile filename]
httpd自带的工具程序
htpasswd:basic认证基于文件实现时,用到的账号密码文件生成工具
apachectl:httpd自带的服务控制脚本,支持start、stop
apxs:由httpd-devel包提供的,扩展httpd使用第三方模块的工具
rotatelogs:日志滚动工具
access.log –>
access.log,access.1.log
access.log,access.1.log,access.2.log
suexec:访问某些有特殊权限设置的资源时,临时切换至指定用户进行
ab:apache benchmark
httpd压力测试工具
ab
ab [options] URL
-n:总的请求数
-c:模拟的并发数
-k:以持久连接模式测试
ulimit -n:调整当前用户所同时打开的文件数
webbench
http_load
jmeter
loadrunner
tcpcopy
httpd-2.4
新特性
- MPM支持运行DSO机制,以模块形式按需加载
- 支持event MPM
- 支持异步读写
- 支持每模块及每个目录分别使用各自的日志级别
- 每请求配置:<If>
- 增强版的表达式分析器
- 支持ms级的keepalive timeout
- 基于FQDN的虚拟主机不再需要NameVirtualHost指令
- 支持用户自定义变量
新模块
mod_proxy_fcgi
mod_ratelimit
mod_remoteip
修改了一些配置机制
不再支持使用Order,Deny,Allow来做基于IP的访问控制机制
安装httpd-2.4
-
CentOS6
httpd依赖于apr,apr-util,[apr-icon]
apr:apache portable runtime
编译安装步骤
1.4+版的apr和apr-util
前提:安装开发环境,安装pcre-devel
yum groupinstall “Development Tools” “Server Platform Development”
-
apr
./configure –prefix=/usr/local/apr
make && make install
-
apr-util
./configure –prefix=/usr/local/apr-util –with=/usr/local/apr
make && make install
-
groupadd -r apache
useradd -r -g apache apache
./configure –prefix=/usr/local/apache –sysconf=/etc/httpd2.4 –enable-so –enable-ssl –enable-cgi –enable-rewrite –with-zlib –with-pcre –with-apr=/usr/local/apr –with-apr-util=/usr/local/apr-util –enable-modules=most –enable-mpms-shared=all –with-mpm=prefork
make && make install
-
启动服务
apachectl
-
-
CentOS7
配置文件
主配置文件:/etc/httpd/conf/httpd.conf
模块配置文件:/etc/httpd/conf.modules.d/*.conf
辅助配置文件:/etc/httpd/conf.d/*.conf
mpm:以DSO机制提供,配置文件00-mpm.conf
服务控制:systemctl {start|stop|restart|status|reload} httpd.service
配置
-
切换使用MPM
LoadModule mpm_NAME_module modules/mod_mpm_NAME.so
NAME:prefork、event、worker
- 修改”Main”Server的DocumentRoot
-
基于IP的访问控制法则
允许所有主机访问:Require all granted
拒绝所有主机访问:Require all deny
控制特定IP访问
Require ip IPADDR:授权指定来源地址的主机访问
Require not ip IPADDR:拒绝指定来源地址的主机访问
IPADDR
IP:192.168.100.100
Net/Mask:192.168.100.0/255.255.255.0
Net/Length:192.168.100.0/24
Net:192.168.100
控制特定主机访问
Require host HOSTNAME
Require not host HOSTNAME
HOSTNAME
FQDN:特定主机
DOMAIN:指定域内的所有主机
<RequireAll>
Require all granted
Require not ip IPADDR
</RequireAll>
-
虚拟主机
基于IP、Port和FQDN都支持
基于FQDN的不再需要NameVirtualHost指令
-
ssl
启用模块:LoadModule ssl_module modules/mod_ssl.so
-
服务脚本
/etc/rc.d/init.d/httpd
-
原创文章,作者:ZBD20,如若转载,请注明出处:http://www.178linux.com/100298