文章内容更新请以 WGrape GitHub博客 : Redis源码系列之rename讲解 为准
前言
本文原创,著作权归WGrape所有,未经授权,严禁转载
目录
- 一、rename原理
- 二、rename完整过程
- 三、关于rename的一些疑问
- 1、rename具有原子性吗
- 2、rename中的删除操作是同步的吗
- 3、如何解决rename耗时长的问题
- 4、如何解决DEL耗时长的问题
- 5、服务器的异步删除参数
- 6、如何替换rename命令
- 四、附录
一、rename原理
当使用 rename oldKey newKey
命令时,主要会执行如下两个操作
1、隐式删除newKey
由于rename操作不是renameNX,而是强制性的把旧Key名修改为新Key名。因此如果新Key名指向了数据,Redis就必先把这个数据删掉!
注 :key对应的Value抽象为memory内存
(1) 源码
在Redis中,无论执行rename
还是renameNX
命令,都会执行一个通用的renameGenericCommand
函数,只是传递的第二个NX参数不一样而已,而client参数就是如其名,表示客户端,用于获取命令携带的参数
- c->argv[1]表示oldKey
- c->argv[2]表示newKey
所以核心看renameGenericCommand
函数即可
如下代码中 if(lookupKeyWrite(c->db,c->argv[2]) != NULL)
,其中lookupKeyWrite
函数会返回Key所指向的内存指针,如果不为空,则说明已经有数据存储,所以紧接着就会执行删除newKey的逻辑
(2) 时间复杂度
时间复杂度为O(M) ,M为成员数量
(3) 测试
先写一个有500W成员的Hash类型的bigkey,如下图发现写入后,内存增加约400MB,删除它需要3秒左右
然后我们执行rename操作,结果如下
所以rename操作会隐式的同步删除newKey,且删除耗时为O(M)
2、修改指针指向
Redis有如下两种方案可以实现rename效果,第一种是数据拷贝,第二种是修改指针指向。如果采用值拷贝的方式,会增加Redis的内存峰值,且拷贝内存的时间也会增加耗时,最重要的值拷贝在Redis场景中不需要,所以Redis使用的是第二种修改指针的方式
注 :key对应的Value抽象为memory内存
(1) 源码
如下源码中,在拿到oldKey指向的内存对象(值对象)指针后,记为o,然后依次做如下操作
- 为o引用计数加1,此时o的引用计数为2
- 把新的键值关系(newKey => o)增加到当前DB中,相当于让newKey重新指向o
- 删除旧的键值(oldKey => o)关系,相当于删除oldKey的指向
由于o的引用计数为2,在删除了oldKey的指向关系后,o的引用计数还是1,并不会触发GC,所以对象o所占用的内存空间仍然是有效的,不过变成了由newKey指向
(2) 时间复杂度
O(1)
3、总结
rename操作耗时为O(1)是不准确的,应该为O(M)+O(1)
- O(M)为删除newKey的耗时,成员与删除耗时成线性关系
- O(1)为newKey指向新内存的耗时,是常数级别,可忽略
二、rename完整过程
1、find newKey :找到newKey所指向的值对象 2、delete memory A :删除值对象所指向的内存 3、find oldKey :找到oldKey所指向的值对象 4、incrRefCount :为oldKey所指向的值对象的引用计数+1 5、add relation :把(newKey => o)新的键值对信息加到数据库中,让newKey指向一个新的值对象 6、delete relation :删除(oldKey => o)旧的键值对信息,让oldKey不再指向之前的值对象
注 :key对应的Value抽象为memory内存
三、关于rename的一些疑问
1、rename具有原子性吗
从源码中看,rename过程需要经过删除newKey和修改指针指向这两步,而如果第二步失败,第一步操作并不会回滚,所以不具有原子性
2、rename中的删除操作是同步的吗
从代码中可以看到是同步还是异步,完全取决于配置的DEL机制,即由lazyfree-lazy-server-del
配置决定。
3、如何解决rename耗时长的问题
之前测试中发现rename操作卡了3秒,执行config get *
命令,发现确实配置的删除方式为同步删除
所以解决方法有两个,要么减少Key的member成员数量,要么配置lazyfree-lazy-server-del
为yes
4、如何解决DEL耗时长的问题
(1) 如果使用的 Redis 是 4.0 以上版本,用 UNLINK 命令替代 DEL,此命令可以把释放 key 内存的操作,放到后台线程中去执行,从而降低对 Redis 的影响
(2) 如果使用的 Redis 是 6.0 以上版本,可以开启 lazy-free 机制(lazyfree-lazy-user-del = yes),在执行 DEL 命令时,释放内存也会放到后台线程中执行
5、服务器的异步删除参数
-
lazyfree-lazy-expire :数据过期进行淘汰时,是否启用异步删除
-
lazyfree-lazy-server-del :服务器隐式删除(如rename),是否启用异步删除
-
lazyfree-lazy-user-del :客户端执行显示删除命令(如DEL、UNLINK)时,是否启用异步删除
6、如何替换rename命令
(1) 场景问题
假设现有一个场景,在使用Redis时无法再使用rename命令,但是现有业务代码中有很多使用rename的复杂情况(事务和非事务都有),完全不可能去修改代码,这时如何解决呢 ?
(2) 问题分析
通过上述rename原理的分析,可以知道rename底层也是通过多个操作组合,最终实现的rename效果,只不过多个操作组合后,只返回了一个结果。所以现在首先需要做的,就是从Redis的所有命令中找到满足需求的命令并组合使用。
下一步需要做的,就是想办法实现使用多个Redis命令操作,但是只返回一个结果的效果。如何实现呢 ?
没错,可以使用EVEL
命令传递LUA
脚本实现。
这时就剩下最后一个问题了,Redis命令在事务和非事务中返回的结构是不一样的,如何解决呢 ?其实很简单,在php
中操作Redis时,数据结构的返回都是由phpredis
控制的,我们并不需要判断当前操作环境是否为事务,只需要使用调用parent
类即Redis
类下的方法即可。
(3) 最终实现
class MyRedis extends Redis
{
public function rename($srcKey, $dstKey)
{
$lua = <<<LUA
local data=redis.call('dump',KEYS[1])
if (data == nil or data == '' or data == false) then
return false
end
local ttl=redis.call('pttl',KEYS[1])
if ttl<0 then
ttl=0
end
redis.call('del',KEYS[1])
redis.call('del',KEYS[2])
return redis.call('restore',KEYS[2],ttl,data)
LUA;
return parent::eval($lua, [$srcKey, $dstKey], 2);
}
public function renameNx($srcKey, $dstKey)
{
$lua = <<<LUA
local isExist=redis.call('exists',KEYS[2])
if (isExist == 1) then
return false
end
local data=redis.call('dump',KEYS[1])
if (data == nil or data == '' or data == false) then
return false
end
local ttl=redis.call('pttl',KEYS[1])
if ttl<0 then
ttl=0
end
redis.call('del',KEYS[1])
redis.call('del',KEYS[2])
return redis.call('restore',KEYS[2],ttl,data)
LUA;
return parent::eval($lua, [$srcKey, $dstKey], 2);
}
}
四、附录
源码使用VSCode在线查看