重启后同一个 Key 换了编码:Redis 持久化不负责还原内存

Redis 的每个值都带一个 encoding:小对象用 listpack、intset 这类紧凑结构,超过阈值才转成 hashtable、quicklist 或 skiplist,而且转换基本不可逆。持久化并不保存这块内存:RDB 按当时的编码序列化对象,加载时却会用当前版本和当前阈值重新决定编码;AOF 干脆重放写命令,对象是被重新做出来的。于是同一个 Key 在重启、主从切换或大版本升级后,逻辑数据没变,内存形态和占用却可能变了一副样子。读完你能分清 type 与 encoding、看懂小 List 为什么会变成 quicklist,并按 RPO 选对 RDB、AOF 与混合持久化。

是什么

Redis 的每个值都是一个 redisObject,里面同时记着 type 和 encoding。type 是逻辑类型:string、list、hash、set、zset、stream;encoding 是它在内存里的实现:同样是 hash,元素少时可能是一整块 listpack,元素多了就换成带桶数组的 hashtable;同样是 set,全是整数时是 intset,混进一个字符串就得换结构。一句话直觉:type 是合同,encoding 是施工方式,合同不变,施工方式可以换。

这个区分平时不显眼,一到三个场景就会咬人:估算内存、排查慢查询、以及重启或主从切换后发现 used_memory 涨了一截。很多人第一反应是"数据变多了",其实数据一条没多,只是 encoding 换了;容量规划也不能按元素个数线性外推,跨过阈值那一下,内存可能跳一大格。持久化只承诺把逻辑数据恢复出来,从不承诺恢复成同一副内存布局。

核心原理

Redis 对"小"有执念:小字符串、小集合、小哈希都尽量塞进一块连续内存,省掉 malloc 头和指针,顺带吃到 CPU cache。

string 分三档:能解析成 64 位整数的存成 int;不超过 44 字节的用 embstr,对象头和 SDS 一次分配;再长就是 raw,两次分配。embstr 是只读的,对它做 APPEND 会先转成 raw。

list 小的时候是一整块 listpack;大了变成 quicklist——一条双向链表,每个节点挂一个 listpack(超大元素会单独成 plain 节点),list-max-listpack-size 控制节点大小,默认 -2 表示按 8KB 切。hash 和 zset 在元素少、单值小时用 listpack,超限后分别转 hashtable 与 skiplist。zset 的 skiplist 旁边还配一个 member 到 score 的 dict,所以 ZSCORE 是 O(1),ZRANK 才要 O(log n)。set 全是整数时用 intset,一个有序数组加二分查找。

listpack 的关键设计是"只记自己有多长":每个 entry 的尾部放一个 backlen,记录本 entry 的长度,于是从右往左也能走,却不必知道前一个 entry 在哪。老 ziplist 相反,头部存 prevlen;前一个 entry 从 253 字节长到 254 字节时,prevlen 要从 1 字节扩成 5 字节,后面的 entry 可能被推着逐个扩容,这就是连锁更新。listpack 把这块最坏情况拆掉了,代价是从左往右仍要顺序解析。

quicklist 还会压缩中间节点:list-compress-depth 默认 0 表示不压,设成 1 就把除头尾以外的节点用 LZF 压起来,用 CPU 换内存。hash 和 set 落到 hashtable 后,底层是两张表的 dict:扩容不是一次搬完,而是每次操作顺带迁移几个桶,查询要同时看两张表,这就是渐进式 rehash;fork 出子进程期间通常会暂停扩容,避免 rehash 触碰大量桶页、把写时复制放大。

这些转换几乎都是单向的。listpack 一旦转成大编码(hashtable 或 skiplist),即使把元素删回三个,也不会退回去;intset 加入过一个字符串,就永久失去整数数组的形态。降级要重新分配和搬迁,Redis 选择不做。

持久化这一侧,RDB 是某一刻的快照:bgsave fork 出子进程,靠写时复制拿到 fork 瞬间的一致视图,子进程按每个对象当前的 encoding 把字节写进文件。但"按当前编码写"不等于"按原样读":一方面有些编码在落盘时就没有独立格式,另一方面加载器还会用自己的版本和阈值重建对象。最典型的是小 List——7.2 的 RDB 把它写成一个只有单节点的 quicklist,加载回来 encoding 就是 quicklist,不再是 listpack;旧版本的 ziplist 哈希在 7.x 里会被直接建成 listpack;而一个 listpack 哈希如果元素数超过本机 hash-max-listpack-entries,加载时就会转成 hashtable。

AOF 记的是命令流。每条写命令追加进缓冲区,按 appendfsync 策略落盘:always 每条命令都 fsync,最安全也最慢;everysec 交给后台线程每秒一次;no 完全交给操作系统。7.0 之后是 base、incr 加 manifest 的多文件结构。重写时 fork 子进程按当前内存生成新的 base,父进程一边继续写旧 AOF,一边把新命令攒进重写缓冲区,子进程完成后拼起来。加载时逐条重放命令,对象是被命令重新做出来的:能建成什么编码,取决于重放时的配置阈值、命令顺序和版本。开了混合持久化也一样,base 本身就是 RDB,照样走上面那条规范化路径。

redis-cli DEL l
redis-cli RPUSH l a b c
redis-cli OBJECT ENCODING l      # listpack(7.2 的小 List)
redis-cli DEBUG RELOAD
redis-cli OBJECT ENCODING l      # quicklist:RDB 存成了单节点 quicklist

redis-cli DEL s
redis-cli SADD s 1 2 3
redis-cli OBJECT ENCODING s      # intset
redis-cli SADD s hello
redis-cli OBJECT ENCODING s      # listpack 或 hashtable,看版本
redis-cli MEMORY USAGE s         # 采样估算,不是精确字节数

这段能看出两件事:编码由写入时的配置和版本决定,而且只升不降;同一份逻辑数据,在不同配置的实例上会得到不同的内存形态。RDB 像给房间拍一张照片,AOF 像记下每次搬家具的动作:照片能还原摆放,动作重放却要受你现在的房间大小限制。

常见考点与误区

  • "RDB 是备份,能恢复到任意时间点":它只是快照,两次 bgsave 之间的写入全丢;文件里的 CRC64 只能发现损坏,不能修复,也替代不了异地备份。
  • "开了 AOF 就一条不丢":everysec 最多丢约一秒;always 也要穿过操作系统和磁盘写缓存;而且 fsync 延迟超过两秒时,Redis 会阻塞写入来保命。
  • "RDB 恢复后内存布局一模一样":小 List 的 listpack 会被存成单节点 quicklist,旧 ziplist 会被升级成 listpack,加载时还会按本机阈值再转一次。OBJECT ENCODING 是调试信息,不是稳定接口。
  • "listpack 阈值调大就能省内存":单块越大,插入删除的 memmove 越贵,扩容峰值越高,超过一两 KB 后 cache 优势也没了;而且调大只影响新写入,已有的大编码不会降级。
  • "fork 之后内存立刻翻倍":写时复制按页进行,只复制被写的页;写入率高时才逼近翻倍,分配器碎片还会让 RSS 比理论值更高。fork 本身会短暂阻塞主线程,因为要复制页表。
  • "ziplist 连锁更新只是理论问题":在大量 253 到 254 字节元素的列表上真实可触发;listpack 的 backlen 就是为消掉它而设计的。
  • "intset 查找是 O(1)":它是有序数组,按值查找走二分,仍是 O(log n);紧凑结构省的是内存和指针跳转,不是把查找变成常数时间。

实践建议

  • 先定 RPO 再选方案:能接受分钟级丢失就用 RDB;要秒级就开 AOF everysec;追求单条不丢先实测 always 的 fsync 延迟和写放大,别只看配置名。生产常用 RDB preamble 加 AOF 增量的混合模式,恢复快,丢得也少。
  • 给 fork 留余量:maxmemory 不要贴着物理内存,按写入比例留三到五成;盯 latest_fork_usec、rdb_last_cow_size、rdb_last_bgsave_status 和 aof_rewrite_in_progress,别等 OOM 才发现快照没成功。
  • 阈值要全链路一致:主从、哨兵、集群各节点、离线恢复实例的 listpack 与 intset 阈值必须相同,否则切换后编码和内存都变;升级前拿 RDB 副本做加载演练,记录 used_memory 的差。
  • 大 key 靠拆不靠调:list、hash、zset 到几千元素就按业务拆,容量估算用 MEMORY USAGE 加采样并留版本差异余量,别把 OBJECT ENCODING 写进业务判断。
  • 备份要真加载一次:RDB 默认开 LZF 压缩和 CRC 校验,前者省磁盘,后者只能发现文件坏了;定期在隔离实例上把副本加载一遍、核对 key 数与抽样内容,只看文件大小等于没验。

一句话总结:type 是契约,encoding 是施工方式;RDB 保数据、AOF 保过程,谁都不承诺恢复出同一副内存布局。

相关阅读

← 返回文章志