一条事务两份日志:崩溃重启时 MySQL 到底听谁的

redo log 是 InnoDB 的物理重做日志,负责崩溃恢复与持久性;binlog 是 Server 层的逻辑变更日志,负责主从复制与按时间点恢复。两者分属不同层、写法不同,却必须在一次提交里同时成立,否则会出现主库有、从库没有,或者反过来的数据分叉。很多人以为提交返回时数据页已经落盘,也有人把 redo 当成 binlog 的缓存,更有人以为两阶段提交能保证主从强一致。读完你能讲清 prepare/commit 两步与崩溃恢复的三条判断规则,理解组提交在优化什么,并知道双 1 参数、redo 容量和 binlog 保留期该怎么配。

是什么

redo log 是 InnoDB 存储引擎层的物理日志,记录的是"哪个数据页的哪个偏移被改成了什么",而不是 SQL 本身。它在磁盘上是一组固定大小的文件,循环覆盖写,核心职责只有一个:崩溃恢复时,把已经提交、但还没来得及刷回数据文件的修改重新做一遍。

binlog 是 MySQL Server 层的逻辑日志,记录语句或行级变更,追加写、不覆盖,核心职责有两个:主从复制和按时间点恢复(PITR)。

一句话直觉:redo 是工地上的施工日志,按"几号楼几层哪面墙"记;binlog 是给外部看的变更公告,按"把 302 房改成会议室"记。两者都叫日志,却不是同一本账。

典型场景:主库突然断电、从库延迟排查、误删数据后要恢复到删库前一秒,以及面试里那句"为什么 MySQL 要有两份日志"。

核心原理

一、redo:把随机写换成顺序写

InnoDB 修改数据不是直接改磁盘,而是改 buffer pool 里的页,这个页就变"脏"了。如果每次提交都同步刷脏页,一个事务可能碰几十个随机页,磁盘扛不住。WAL 的做法是:先把"怎么改"按顺序追加到 redo log,再在后台慢慢把脏页刷回去。

顺序写比随机写快一个量级,这是 redo 的第一层价值;第二层是持久性——只要 redo 落盘,哪怕数据页一个都没写,重启后也能重放出来。它的格式与容量管理可以对照 InnoDB redo log 文档 看。

redo 用 LSN 串起时间线。每写一条日志,LSN 往前推;刷脏页时推进 checkpoint LSN,checkpoint 之前的日志空间才可以被覆盖。所以 redo 不能无限大,也不能随便调小:调小会让 checkpoint 追着写操作跑,频繁刷脏、写入抖动;调大则崩溃恢复要重放更多日志,启动变慢。

redo 的落盘时机由 innodb_flush_log_at_trx_commit 控制:1 是每次提交都 fsync,2 是每次提交 write 到操作系统缓存、每秒 fsync,0 是交给后台线程每秒刷。只有 1 能保证"提交返回即持久",0 和 2 在断电时可能丢最近一秒。

二、binlog:给复制和恢复留的底稿

binlog 属于 Server 层,不管下面用的是 InnoDB 还是别的引擎,只要开了 log_bin 就会记。它按 event 组织,一个事务从 BEGIN 到 XID/COMMIT 是一组完整事件;文件写满就切下一个,不会覆盖旧文件,清理靠过期时间或手动 PURGE。

三种格式的取舍很实际:STATEMENT 记 SQL,日志小,但 NOW()、UUID()、不带 ORDER BY 的 LIMIT 这类非确定性语句会让从库算出不同结果;ROW 记每一行的前镜像和后镜像,最安全,代价是日志膨胀;MIXED 让服务器自己挑。生产上大多用 ROW。

binlog 的落盘由 sync_binlog 控制:1 是每次提交 fsync,0 是把写交给操作系统,N 是每 N 次提交 fsync 一次。它和 redo 的刷盘参数是两套独立的开关,这也是很多"我明明配了双 1"事故的起点——其实只配了一个。

三、两阶段提交:让两本账对得上

真正麻烦的地方在于:redo 和 binlog 是两个独立的持久化系统,写哪个都可能成功,也都可能失败。

假设两边各写各的:redo 先落盘并标了提交、binlog 还没写就断电,主库重启后事务还在,从库却永远收不到;反过来,binlog 先落盘、redo 还没提交就断电,从库会应用它,主库却可能把它回滚。两种都是主从分叉。

MySQL 用一套内部的两阶段提交(官方文档),把"先写谁"这个致命选择,换成了固定顺序:

  1. prepare:InnoDB 写 redo,把事务标成 prepared,按刷盘策略落盘;
  2. 写 binlog:把事务的完整事件写进 binlog 并 fsync;
  3. commit:在 redo 里写 commit 标记。这一步即使还没落盘就崩溃也不要紧,因为 binlog 已经完整。

崩溃恢复时的裁决规则可以压缩成三句话:

  • redo 里已经有 commit 标记:直接前滚;
  • redo 里是 prepared,且 binlog 里有这个事务完整的 XID 事件:补提交,然后前滚;
  • redo 里是 prepared,但 binlog 里找不到完整事务(末尾可能是半截 event):用 undo 回滚。
# 崩溃恢复的裁决逻辑(伪代码)
def decide(trx, binlog_xids):
    if trx.state == "COMMITTED":         # redo 里已有 commit 标记
        return "roll_forward"
    if trx.state == "PREPARED":
        if trx.xid in binlog_xids:       # binlog 中有完整事务
            return "commit"              # 补写 commit 标记,再前滚
        return "rollback"                # binlog 不完整,用 undo 回滚
    return "rollback"                    # 连 prepare 都没到

注意"binlog 完整"不是看文件大小,而是看这个事务的 XID 事件有没有完整落盘;binlog 末尾的半截事件在恢复时会被截断。这也是为什么 binlog 必须带事务边界,而不能只是一串裸 SQL。

四、组提交:把 fsync 的次数摊薄

双 1 配置下,每个事务至少要两次 fsync(redo 一次、binlog 一次),高并发时磁盘根本忙不过来。组提交把多个事务的刷盘合并:一批事务的 redo 一起 fsync,一个 leader 线程带着这批事务的 binlog 一起 fsync,再把 commit 标记批量写回。

顺序约束没有变:binlog 必须在 redo prepare 之后、redo commit 之前落盘。变的只是"一次 fsync 服务多少个事务"。所以双 1 并不等于"每个事务独享一次磁盘 IO",吞吐可以靠并发批量拉起来,而不是靠把参数改成 0。

常见考点与误区

  • 误区一:redo log 是 binlog 的缓存,两者可以互相替代。 层级不同(引擎层 vs Server 层)、内容不同(页级物理修改 vs 逻辑变更)、生命周期不同(循环覆盖 vs 追加归档)。redo 不能拿来做主从复制,binlog 也不能单独做崩溃恢复,因为它可能还没落盘,也没有页级前滚能力。
  • 误区二:commit 返回时,数据已经写进 .ibd 文件。 提交只保证日志按配置落盘,脏页由后台线程异步刷。所以刚提交就 kill -9,重启后靠 redo 重放;"数据文件比日志旧"完全正常。
  • 误区三:redo log 调得越大越好。 容量大能吸收更长时间的写入峰值、减少 checkpoint 抖动,但崩溃恢复要重放更多日志,启动时间变长,恢复时间约等于要扫描的日志量除以磁盘带宽。容量应该按"峰值写入速率 × 可接受恢复时长"来定,不是拍脑袋拉满。
  • 误区四:配了 sync_binlog=1 就不会丢数据。 本地崩溃恢复靠的是 redo;binlog 保证的是复制与 PITR。反过来,只配 innodb_flush_log_at_trx_commit=1、sync_binlog=0,崩溃时可能出现主库有、binlog 没有的已提交事务,从库自然缺一段。
  • 误区五:两阶段提交能保证主从强一致。 它保证的是崩溃恢复时 redo 与 binlog 对"这个事务提没提交"给出同一个答案,不解决异步复制的延迟,也不解决半同步超时后退化成异步的问题。主从一致性是另一套机制的事。
  • 考点六:statement 格式为什么会主从不一致? 非确定性函数、依赖自增或环境状态的语句、没有 ORDER BY 的 LIMIT,在从库重放时可能选中不同的行。ROW 格式记录具体行的前后镜像,绕开了这个问题,但日志量和网络传输会上升。
  • 考点七:误删数据该用哪个日志恢复? 用 binlog 做 PITR:全备加上从备份点到故障点的 binlog 重放。redo 是循环写的,早就被覆盖了,不承担归档职责。

实践建议

  • 核心交易链路坚持双 1:innodb_flush_log_at_trx_commit=1、sync_binlog=1。性能不够时先看组提交是否被大事务拖累、磁盘是否撑不住 fsync,再考虑批量合并写,而不是把参数降到 0 或 2 换吞吐。
  • 按恢复目标反推 redo 容量:先估算峰值写入速率和可接受的启动恢复时间,再定容量;8.0.30 之后用 innodb_redo_log_capacity 统一控制,可以在线调整。容量长期贴近上限、checkpoint 频繁追赶,就是该扩容或优化大事务的信号。
  • 监控 checkpoint 落后量,而不是只看磁盘使用率:Log sequence number 与 Last checkpoint at 的差值接近容量时,写入随时可能因为等刷脏而抖动,应该提前告警。
  • binlog 保留期要覆盖"最坏恢复场景":至少大于全备周期,并留出发现故障、定位备份、重放的时间;用 binlog_expire_logs_seconds 管理,别手动删正在被从库读的文件。定期做一次真实 PITR 演练,比在文档里写"已开启 binlog"有用得多。
  • 大事务拆批:一次改几十万行的 UPDATE 会同时撑大 redo 占用、binlog 体积和从库延迟,拆成可控批次,既缩短锁持有时间,也让组提交更有效。
  • ROW 格式下谨慎使用 binlog_row_image=MINIMAL:它只记被改的列,省空间,但某些闪回、审计和恢复工具需要完整前镜像;链路上有这类工具时,保持 FULL 更稳妥。

一句话总结:redo 管"崩溃后怎么重做",binlog 管"别人怎么跟着做",两阶段提交只负责让这两件事不会各说各话。

相关阅读

← 返回文章志