Redis的怎么清理没用的数据

本篇内容主要讲解“Redis的怎么清理没用的数据”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“Redis的怎么清理没用的数据”吧!

我们数据平台中有使用Redis来给线上提供低延时(20毫秒以内)的高并发读写请求，其中***的Redis使用了阿里云的Redis集群(256G)，存储的记录超过10亿，Key的有效期设置为15天，每天写入的记录大概5000万左右，QPS大概在6万左右。由于过期Key的产生速度大于Redis自动清理的速度，因此在Redis中会有大量过期Key未被及时清理。

为什么有过期的Key未被清理呢?这个得先熟悉一下Redis的删除策略。

Redis常用的删除策略有以下三种：

被动删除(惰性删除)：当读/写一个已经过期的Key时，会触发惰性删除策略，直接删除掉这个Key;

主动删除(定期删除)：Redis会定期巡检，来清理过期Key;

当内存达到maxmemory配置时候，会触发Key的删除操作;

另外，还有一种基于触发器的删除策略，因为对Redis压力太大，一般没人使用。

这里先介绍后两种删除策略(网上有很多说明)。

主动删除(定期删除)

在 Redis 中，常规操作由 redis.c/serverCron 实现，它主要执行以下操作：

更新服务器的各类统计信息，比如时间、内存占用、数据库占用情况等。

清理数据库中的过期键值对。

对不合理的数据库进行大小调整。

关闭和清理连接失效的客户端。

尝试进行 AOF 或 RDB 持久化操作。

如果服务器是主节点的话，对附属节点进行定期同步。

如果处于集群模式的话，对集群进行定期同步和连接测试。

Redis 将 serverCron 作为时间事件来运行，从而确保它每隔一段时间就会自动运行一次， 又因为 serverCron 需要在 Redis  服务器运行期间一直定期运行， 所以它是一个循环时间事件：serverCron 会一直定期执行，直到服务器关闭为止。

在 Redis 2.6 版本中， 程序规定 serverCron 每秒运行 10 次， 平均每 100 毫秒运行一次。 从 Redis 2.8 开始，  用户可以通过修改 hz选项来调整 serverCron 的每秒执行次数， 具体信息请参考 redis.conf 文件中关于 hz 选项的说明。

也叫定时删除，这里的“定期”指的是Redis定期触发的清理策略，由位于src/redis.c的activeExpireCycle(void)函数来完成。

serverCron是由redis的事件框架驱动的定位任务，这个定时任务中会调用activeExpireCycle函数，针对每个db在限制的时间REDIS_EXPIRELOOKUPS_TIME_LIMIT内迟可能多的删除过期key，之所以要限制时间是为了防止过长时间  的阻塞影响redis的正常运行。这种主动删除策略弥补了被动删除策略在内存上的不友好。

因此，Redis会周期性的随机测试一批设置了过期时间的key并进行处理。测试到的已过期的key将被删除。典型的方式为,Redis每秒做10次如下的步骤：

随机测试100个设置了过期时间的key

删除所有发现的已过期的key

若删除的key超过25个则重复步骤1

这是一个基于概率的简单算法，基本的假设是抽出的样本能够代表整个key空间，redis持续清理过期的数据直至将要过期的key的百分比降到了25%以下。这也意味着在任何给定的时刻已经过期但仍占据着内存空间的key的量最多为每秒的写操作量除以4.

Redis-3.0.0中的默认值是10，代表每秒钟调用10次后台任务。

除了主动淘汰的频率外，Redis对每次淘汰任务执行的***时长也有一个限定，这样保证了每次主动淘汰不会过多阻塞应用请求，以下是这个限定计算公式：

hz调大将会提高Redis主动淘汰的频率，如果你的Redis存储中包含很多冷数据占用内存过大的话，可以考虑将这个值调大，但Redis作者建议这个值不要超过100。我们实际线上将这个值调大到100，观察到CPU会增加2%左右，但对冷数据的内存释放速度确实有明显的提高(通过观察keyspace个数和used_memory大小)。

可以看出timelimit和server.hz是一个倒数的关系，也就是说hz配置越大，timelimit就越小。换句话说是每秒钟期望的主动淘汰频率越高，则每次淘汰最长占用时间就越短。这里每秒钟的最长淘汰占用时间是固定的250ms(1000000*ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/100)，而淘汰频率和每次淘汰的最长时间是通过hz参数控制的。

郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。