关于ip_conntrack跟踪连接满导致网络丢包问题的分析

http://ixdba.blog.51cto.com/2895551/1737642

我们的线上web服务器在访问量很大时,就会出现网络连接丢包的问题,通过dmesg命令查看日志,发现如下信息:

kernel: ip_conntrack: table full, dropping packet.kernel: printk: 1 messages suppressed.kernel: ip_conntrack: table full, dropping packet.kernel: printk: 2 messages suppressed.kernel: ip_conntrack: table full, dropping packet.

这里面关键的信息是"ip_conntrack: table full, dropping packet",从这里可以判断出这跟iptables有关系了,因为iptables防火墙使用了ip_conntrack内核模块实现连接跟踪功能,所有的进出数据包都会记录在连接跟踪表中,包括tcp,udp,icmp等,一旦连接跟踪表被填满以后,就会发生丢包,导致网络不稳定。

而我们的服务器确实打开了iptables防火墙,并且都是在网站流量非常高的时候经常会出现这个问题。这个问题的原因是由于web服务器收到了大量的连接,在启用了iptables的情况下,iptables会把所有的连接都做链接跟踪处理,这样iptables就会有一个链接跟踪表,当这个表满的时候,就会出现上面的错误。

iptables的链接跟踪表最大容量配置文件如下:

centos5 netfilter 参数配置文件:

/proc/sys/net/ipv4/netfilter/ip_conntrack_max或者/proc/sys/net/ipv4/ip_conntrack_max

centos6 netfilter 参数配置文件:

/proc/sys/net/netfilter/nf_conntrack_max

由于nf_conntrack 工作在3层,支持IPv4和IPv6,而ip_conntrack只支持IPv4,因此nf_conntrack模块在Linux的2.6.15内核中被引入,而ip_conntrack在Linux的2.6.22内核被移除(centos6.x版本),因此不同版本的系统,配置文件也就不尽相同了。目前大多的ip_conntrack_*已被 nf_conntrack_* 取代,很多ip_conntrack_*仅仅是个软链接,原先的ip_conntrack配置目录/proc/sys/net/ipv4/netfilter/ 仍然存在,但是新的nf_conntrack在/proc/sys/net/netfilter/中,这样做是为了能够向下的兼容。

了解了配置文件的变化后,我们看看这个问题该如何解决,解�方法一般有两个:

1、调整 /proc/ 下面的参数

可以增大适当conntrack 的条目,在CentOS5/RHEL 5下:

(1)运行

sysctl -w net.ipv4.netfilter.ip_conntrack_max=655360

(2).在 /etc/sysctl.conf 中加入:

net.ipv4.netfilter.ip_conntrack_max = 655360

(3).使其生效

sysctl -p

在CentOS 6 /RHEL6下:

(1)运行

sysctl -w net.nf_conntrack_max=100000

(2)在 /etc/sysctl.conf 中加入:

net.nf_conntrack_max = 100000

(3)使其生效

sysctl -p

2、不使用ip_conntrack模块

在CentOS5/RHEL 5下:

不使用ip_conntrack,需要移除state模块,因为使用该模块需要加载ip_conntrack。确保iptables规则中没有出现类似state模块的规则,如果有的话将其移除:

然后注释 /etc/sysconfig/iptables-config 中的:

IPTABLES_MODULES="ip_conntrack_netbios_ns"

最后移除ip_conntrack模块:

[root@waiwei ipv4]#  modprobe -r ip_conntrack_netbios_ns xt_state

在CentOS6/RHEL6下:

[root@waiwei ipv4]#  modprobe -r nf_conntrack_ipv4 xt_state
[root@waiwei ipv4]#  modprobe -r nf_conntrack

现在 /proc/net/ 下面应该没有nf_conntrack了。

两种方法中,第一种简单,但是治标不治本,第二种稍微麻烦,但是毕竟使用,大家可根据情况进行选择。

原创文章,作者:Net 20-北京自由鸟,如若转载,请注明出处:http://www.178linux.com/17451

(2)
Net 20-北京自由鸟Net 20-北京自由鸟
上一篇 2016-06-03
下一篇 2016-06-03

相关推荐

  • M20 – 1- 第二周博客(1):帮助手册查询的使用

    Linux系统中存在诸多的命令,而这些命令分为内键命令和外部命令。如何查询命令属于内部还是外部呢。前一篇博客已经介绍type命令,type命令可以区分命令属于内部还是外部,下面举个例子: 为什么这一期博客还重复讲如何区分内部与外部命令呢,因为在man手册查询中,内部命令并不是使用man查询帮助手册,仅仅使用与外部命令,那内键命令如何查询呢,接下来要讲的就是h…

    Linux干货 2016-08-02
  • 马哥教育网络20期+第4周作业博客

    1、复制/etc/skel目录为/home/tuser1,要求/home/tuser1及其内部文件的属组和其它用户均没有任何访问权限。 答:cp -a /etc/ske1 /home/tuser1 && chown -R go-rwx /home/tuser1 2、编辑/etc/group文件,添加组hadoop。 答:echo "…

    Linux干货 2016-09-05
  • Unix与linux的发展历程以及linux的发行版

    Unix的发展与诞生是有源头的,早期的时候,为了生产处多任务操作系统,Bell,MIT,GE这三个单位合作要制作一款多任务操作系统,也就是multitasks,这款操作系统后来是研制成功了,但是往后的目标越来越大也越来越模糊,最终这三家单位也就相继退出了这个项目。 bell实验室的Ken Thompson因为之前在multitasks运行过一款游戏,spac…

    Linux干货 2016-10-30
  • 马哥教育网络班第21期+第六周课程作业

    1、复制/etc/rc.d/rc.sysinit文件至/tmp目录,将/tmp/rc.sysinit文件中的1、以至少一个空白字符开头的行的行首加#; :%s@^[[:space:]]\+@#@   2、复制/boot/grub/grub.conf至/tmp目录中,删除/tmp/grub.conf文件中的行首的空白字符; :%s@^[[:space…

    Linux干货 2016-08-22
  • N22-北京-追求极境之人-RSYNC差分编码同步原理

    1客户端发送自己的filelist,filelist包含文件hashindexid(alert32)和关联的文件chunkChecksum(MD5)和hashindexID以便进行快速查找,chunksize根据文件大小进行等分,不足均值部分直接发送不进行MD5校验值生成 发送进程一次从生成器读取一个文件索引号和关联的块校验集合 2对于生成器发送的每个文件I…

    Linux干货 2016-08-22
  • DNS常用配置解析反向解析

    什么是域名解析库文件?     是指将我们访问的域名解析成IP返回给本主机,然后本机拿着解析后IP去访问服务器,而解析格式就放在域名解析库文件中。DNS解析分为正向解析和反向解析    正向解析就是将域或域名解析成对应的IP地址,反之则相反,通过IP解析成域名 &nbs…

    Linux干货 2017-05-31