redis主从复制(4)— client buffer

1、 client buffer的设计

redis server以单进程的方式处理接收到的请求,而redis完成请求有些工作比较慢,比如网络IO和磁盘IO等比较慢的操作。redis为了提高处理客户端请求的响应时间,做了很多优化。比如网络io和磁盘io是异步完成、使用后台进程完成bgsave和bgrewriteaof工作,在server端为客户提供读buffer等等。

client buffer是在server端实现的一个读取缓冲区。redis server在接收到客户端的请求后,把影响结果写入到client buffer中,而不是直接发送给客户端。server把结果写入到client buffer中后,继续处理客户端的其他请求。这样异步处理方式使redis server不会因为网络原因阻塞其他请求的处理。之前的文章中replication buffer也是client buffer中的一种。

2、client buffer参数设置

redis client buffer的配置参数为”client-output-buffer-limit”,默认值为:

127.0.0.1:6379> CONFIG GET "*output*"
 
    1) "client-output-buffer-limit"
 
    2) "normal 0 0 0 slave 0 0 0 pubsub 0 0 0"

参数设置方法如下:

client-output-buffer-limit <class> <hard limit> <soft limit> <soft seconds>

具体参数含义如下:

class : 客户端种类,normal、slave、pubsub。

– mormal:普通的客户端

– slave: 从库的复制客户端

– pub/sub: 发布与订阅的客户端的

hard limit: 缓冲区大小的硬性限制。

soft limit: 缓冲去大小的软性限制。

soft seconds: 缓冲区大小达到了(超过)soft limit值的持续时间。

client-output-buffer-limit参数限制分配的缓冲区的大小,防止内存无节制的分配。参数的默认值都为0,意思是不做任何限制。

3、client buffer保护机制

redis server触发保护机制主要有两种情况:

1) client buffer的大小达到了soft limit并持续了soft seconds时间,将立即断开和客户端的连接。

2) client buffer的大小达到了hard limit,server也会立即断开和客户端的连接。

slave replication buffer这里不再讨论,而是讨论普通客户端的client buffer。

思考问题:是否要设置client-output-buffer-limit normal参数(默认参数不做任何限制),如何设置?

1)client-output-buffer-limit参数一定要设置,不能使用默认的参数,防患于未然。client buffer实际上是占用redis的数据内存空间(unlike replication buffers, memory allocation for client buffers is taken from Redis’ data memory space.)。redis的最大数据内存空间由maxmemory参数限定。当数据内存空间达到maxmemory参数限定值时,redis会开始evict数据,或者直接提示客户端OOM(out of memory)。

这种情况下主要发生在客户端执行大批量数据读取, 比如keys *、smembers、lrange、hgetall等操作。
如果单次查询的数据太多,导致redis的used memory增长一倍。

2)client-output-buffer-limit也不能设置太小,这个会导致客户端读取不到数据。

这篇文章包含了top redis headaches for devops – client buffers里面的一些内容,而不是简答的翻译。

转自:http://mdba.cn/?p=833

原创文章,作者:s19930811,如若转载,请注明出处:http://www.178linux.com/2486

(0)
s19930811s19930811
上一篇 2016-03-28
下一篇 2016-03-28

相关推荐

  • linux中更改文件权限的实验

      三种基本权限    r 读 数值表示为4 w写 数值表示为2 X 可执行数值表示为1              简单举例: -rw-rw-r–共十个字符,分成四段 第一个字符“-”表示普通文件;这个位置还可能会出现“l”链接;“d”表示目录 第…

    2017-07-15
  • 8 文本查看、处理与统计分析

    文本查看 cat cat [OPTION]… [FILE]… 该命令用于正向查看文本文件,但不可分页,一次性显示完成 参数说明 参数 说明 -E 显示行结束符$ -n 对显示出的每一行进行编号 -A 显示所有控制符 -b 非空行编号 -s 压缩连续的空行成一行 -T 显示tab为^I 示例  tac tac […

    Linux干货 2016-08-10
  • Linux系统中快捷键和man手册讲解

    1、Linux中的man手册   man这个单词的翻译是男人的意思,但在Linux中是我们对于命令的帮助查找,我们知道在Linux中命令有很多,简直浩瀚如海,我们不可能都能理解每个命令的意思。所以,Linux的帮助文件大大解决了我们对于命令的理解性。通过man指令可以查看Linux中的指令帮助、配置文件帮助和编程帮助等信息。 2、语法格式…

    Linux干货 2016-10-17
  • 正则表达式和文本处理工具grep,egrep

    正则表达式(Regular Expression)是通过一些特殊字符的排列,来表示控制或者通配的功能,用于查找,替换,删除一行或者多行文字字符串,是用在字符处理上的一项表达式,有时候我们可通过表达式来筛选出我们所需要的信息。 正则表达式分为两类:基本正则表达式(BRE)和扩展的正则表达式(ERE) 正则表达式基本上是一种“表示法”,只要工具程序支持这种表示法…

    Linux干货 2016-12-20
  • 第十一周作业

    1、详细描述一次加密通讯的过程,结合图示最佳。   发送者:     1)使用单向加密算法提取要发送文件的特征码;     2)使用自己的私钥加密特征码并附加在数据后面;     3)生成用于对称加密的临时密码;     4)用此临时密钥加密数据和已经使用私钥加密后的特…

    2017-05-08
  • N25 – week 3 blog

    本周的blog开始使用了代码语言格式,我原本以为自然的才是最好的,orginal的才是最美的,但是我错了。。。我发现同学们都在各种markdown,各种排版。我说过我早已过了care这些的年纪,但是我不能脱离群体单独存在,所以我底下了傲娇的头。 本周开始blog标题改为英文,逼格满满,麦满分~ 下面开始第$wk_num周的作业 [root@dhcp-10-1…

    Linux干货 2016-12-19