引用计数归零就回收,为什么互相引用的两个对象还能活下来

CPython 的内存回收以引用计数为主:每个对象头部记着被多少条引用指向,计数降到 0 就调用类型析构并把内存交还分配器。可引用计数只会做局部减法,两个对象互相引用时,外界全松手它们也不会归零,这才轮到分代循环回收器出场。最常见的误区是把 del 当 free、以为有 GC 就不会泄漏,以及把 sys.getrefcount 的返回值当成真实引用数。本文从对象头、计数增减、试探删除的环检测与 700/10/10 三代阈值讲到 pymalloc 的 arena 保留,并给出 tracemalloc、weakref 与 gc.freeze 的落地做法。

是什么

CPython 的内存管理不是某个单独的"垃圾回收器",而是三层机制分工:引用计数负责绝大多数对象的即时回收,分代循环回收器负责引用计数看不见的环,pymalloc 负责小对象的分配与复用。一句话直觉:每个对象头上挂着一本账,记着"现在有几条引用指着我";账归零就当场拆掉,可如果两个对象互相指着对方,哪怕外面已经没人认识它们,账面上仍各有一条引用,谁也不会先走。典型场景是长驻服务的内存曲线只涨不落、__del__ 迟迟不执行、缓存越用越大,以及面试里那句追问——Python 都有 GC 了,为什么还会内存泄漏。

核心原理

在 CPython 里,每个 PyObject 头部至少有两样东西:类型指针和引用计数 ob_refcnt。把对象赋给变量、作为参数传进函数、塞进列表或字典、被闭包捕获,都会让计数加一;变量重新绑定、离开作用域、容器被清空或删除,都会让计数减一。减到 0 时,解释器调用该类型的 tp_dealloc 槽,先执行 Python 层能感知的清理(例如 __del__、关闭生成器),再把这块内存交还给分配器。注意是交还给分配器,不一定交还给操作系统,这一点后面会咬人。

import gc, sys

class Node:
    def __init__(self, name):
        self.name = name
    def __del__(self):
        print("finalize", self.name)

a = Node("a")
print(sys.getrefcount(a))   # 2:变量 a + 传参临时引用
b = a
print(sys.getrefcount(a))   # 3
del b
print(sys.getrefcount(a))   # 2

a.self = a                  # 自引用成环
del a                       # 外部引用清零,但环还在
print("collected:", gc.collect())  # 打印 finalize a,返回 1

这段代码里,getrefcount 的结果总比直觉多 1:调用它时对象作为实参被临时压栈,本身就是一条引用,所以只有 a 一个变量时返回 2。更关键的是最后三行:a.self = a 之后执行 del a,外部引用清零,但对象自己还引用自己,计数停在 1,__del__ 不会触发;直到 gc.collect() 扫出这个不可达的环,才把它拆掉。引用计数的盲区就在这里——它只会做局部减法,不会判断"这一整团是不是已经从根上断开了"。

循环回收器用的是试探删除法,而且只跟踪可能形成环的容器对象;整数、字符串这类原子对象根本进不了跟踪集合。一次收集中,GC 先把候选对象当前的计数抄到 gc_refs,再遍历这些对象的内部引用逐个减掉:减完仍为正,说明外面还有人在指着它,是活的;只有减到 0 的才可能是不可达环的一部分。这个思路像清点一间互相打借条的屋子:先把所有借条都记成欠款,再让屋里的人互相抵消,最后还欠着外面债主的才是要留下的人,其余整团都可以清走。

为了不每次都扫全堆,CPython 把对象分成三代。新对象进第 0 代;第 0 代的净分配数(分配减释放)超过阈值 700 就先收第 0 代,活下来的晋升到第 1 代;第 0 代收满 10 次才收一次第 1 代,第 1 代再收满 10 次才做一次第 2 代全量回收。默认阈值是 (700, 10, 10),用 gc.get_threshold() 就能看到。老对象活得越久越可能继续活,少扫它们是经验主义的优化,代价是第 2 代全量回收更贵,偶尔会在延迟曲线上扎出一根毛刺。

带 __del__ 的环曾经是个经典坑:Python 3.4 之前,这类环会被扔进 gc.garbage 不再回收。PEP 442 之后,终结器可以在环被拆开前安全调用,环也能回收,但顺序不作保证,对象甚至能在 __del__ 里把自己重新挂到全局变量上"复活",而复活之后不会再被终结第二次。所以 __del__ 适合放日志和断言,不适合放必须执行的资源释放。

最后是分配器。小于等于 512 字节的对象走 pymalloc:它按固定粒度切成若干大小类,每个 4 KiB 的 pool 只服务一个大小类,若干 pool 组成 arena(较新的 CPython 在 64 位上是 1 MiB)。对象释放后,block 回到 pool 的空闲链表,pool 回到 arena,只有整个 arena 的所有 pool 都空了,才可能通过 munmap 还给系统。所以"Python 已释放"和"进程 RSS 降下来"是两件事:前者是对象计数归零,后者要等分配器愿意整块退还。

常见考点与误区

  • "del 就是释放内存。" 面试常问 a = [1,2,3]; b = a; del a 之后 b 还能不能用。del 只删掉一个名字绑定,计数减一;只要 b 还在,对象就还活着,__del__ 也不会跑。真正的释放要等最后一条强引用消失,或者整个环被 GC 判定为不可达。
  • "有 GC 就不会泄漏。" 循环回收器只处理不可达的环,处理不了"仍然可达但永远不该再要"的对象:没有上限的 lru_cache、只增不减的全局注册表、注册后忘了注销的监听器、线程池里排队的任务、被长期保存的异常对象。它们的计数始终大于 0,任何 GC 都动不了,只能靠设计上主动解绑。
  • "sys.getrefcount 返回的就是真实引用数。" 它包含调用时产生的临时实参引用,通常要减一;而且 CPython 3.12 起 None、True、False 等是 immortal 对象,计数被固定在特殊值上,文档明确说除了 0 和 1 之外不要依赖具体数字。
  • "__del__ 相当于 C++ 析构函数。" Python 不保证它何时执行,解释器退出时甚至可能不执行;环里的终结顺序未定义,抛出的异常会被忽略;它还可能把对象复活。资源释放应该交给 with、finally 或 weakref.finalize,而不是押注 __del__。
  • "gc.collect() 返回回收了多少字节。" 它返回的是本次回收到的不可达对象个数;不带参数是全量回收,传 0、1、2 则只收对应代。想知道内存变化,得用 tracemalloc 或进程级资源统计。
  • "进程内存不降就是泄漏。" pymalloc 的 arena 只要还剩一个活 block 就不会归还,glibc 的 free 也常留下空洞。判断泄漏要先看 tracemalloc 的 Python 分配曲线是否持续上升,再看 RSS;两者背离时,优先怀疑分配器保留和碎片,而不是对象没释放。

实践建议

  • 先分清泄漏、保留和碎片。 用 tracemalloc.take_snapshot() 在压测前后各拍一张,按文件和行号比 compare_to,看增长到底落在业务对象还是框架缓存;再用 gc.get_objects()、gc.get_referrers() 或 objgraph 找"谁还攥着它"。不要一上来就调 GC 参数。
  • 缓存和监听器优先用弱引用。 WeakValueDictionary、WeakSet、weakref.ref 不会增加引用计数,适合做对象缓存、观察者列表和父子节点回指;weakref.finalize 能在对象被回收时执行一次清理,比 __del__ 可控。代价是目标随时可能消失,取用时要判空。
  • 长驻服务可以预热后冻结。 启动、导入、建连完成后先 gc.collect(),再 gc.freeze() 把长期存活对象移出扫描范围,然后适度调大第 0 代阈值,能明显减少全量回收的次数和停顿。改完必须用 gc.callbacks 记录每次回收的代数和耗时,确认收益是真的。
  • gc.disable() 只适合确认过没有环的场景。 关掉循环回收后,引用计数仍然工作,但任何环都会永久占着内存;如果业务里大量使用双向链表、树形父子引用、异常 traceback,这就是定时炸弹。真要关,也要配合定期手动 gc.collect() 和内存曲线告警。
  • 别让异常和闭包替你养对象。 except 里拿到的异常对象会顺着 __traceback__ 抓住整条调用栈的帧和局部变量,把它存进列表或日志上下文就可能长期驻留;用完显式 del,或只保留字符串形式的堆栈。闭包捕获大对象时也要想清楚生命周期。
  • 小对象多时考虑 __slots__。 每个实例默认带一个 __dict__,字段多、实例上百万时开销可观;__slots__ 能省掉字典和部分哈希表开销,但会失去动态加属性的能力,需要弱引用时还得显式把 __weakref__ 加进去。

一句话总结:引用计数负责即时清账,分代 GC 只补环,分配器则决定内存还不还给系统。

相关阅读

← 返回文章志