一条事务两份日志:崩溃重启时 MySQL 到底听谁的
redo log 是 InnoDB 的物理重做日志,负责崩溃恢复与持久性;binlog 是 Server 层的逻辑变更日志,负责主从复制与按时间点恢复。两者分属不同层、写法不同,却必须在一次提交里同时成立,否则会出现主库有、从库没有,或者反过来的数据分叉。很多人以为提交返回时数据页已经落盘,也有人把 redo 当成 binlog 的缓存,更有人以为两阶段提交能保证主从强一致。读完你能讲清 prepare/commit 两步与崩溃恢复的三条判断规则,理解组提交在优化什么,并知道双 1 参数、redo 容量和 binlog 保留期该怎么配。
是什么
redo log 是 InnoDB 存储引擎层的物理日志,记录的是"哪个数据页的哪个偏移被改成了什么",而不是 SQL 本身。它在磁盘上是一组固定大小的文件,循环覆盖写,核心职责只有一个:崩溃恢复时,把已经提交、但还没来得及刷回数据文件的修改重新做一遍。
binlog 是 MySQL Server 层的逻辑日志,记录语句或行级变更,追加写、不覆盖,核心职责有两个:主从复制和按时间点恢复(PITR)。
一句话直觉:redo 是工地上的施工日志,按"几号楼几层哪面墙"记;binlog 是给外部看的变更公告,按"把 302 房改成会议室"记。两者都叫日志,却不是同一本账。
典型场景:主库突然断电、从库延迟排查、误删数据后要恢复到删库前一秒,以及面试里那句"为什么 MySQL 要有两份日志"。
核心原理
一、redo:把随机写换成顺序写
InnoDB 修改数据不是直接改磁盘,而是改 buffer pool 里的页,这个页就变"脏"了。如果每次提交都同步刷脏页,一个事务可能碰几十个随机页,磁盘扛不住。WAL 的做法是:先把"怎么改"按顺序追加到 redo log,再在后台慢慢把脏页刷回去。
顺序写比随机写快一个量级,这是 redo 的第一层价值;第二层是持久性——只要 redo 落盘,哪怕数据页一个都没写,重启后也能重放出来。它的格式与容量管理可以对照 InnoDB redo log 文档 看。
redo 用 LSN 串起时间线。每写一条日志,LSN 往前推;刷脏页时推进 checkpoint LSN,checkpoint 之前的日志空间才可以被覆盖。所以 redo 不能无限大,也不能随便调小:调小会让 checkpoint 追着写操作跑,频繁刷脏、写入抖动;调大则崩溃恢复要重放更多日志,启动变慢。
redo 的落盘时机由 innodb_flush_log_at_trx_commit 控制:1 是每次提交都 fsync,2 是每次提交 write 到操作系统缓存、每秒 fsync,0 是交给后台线程每秒刷。只有 1 能保证"提交返回即持久",0 和 2 在断电时可能丢最近一秒。
二、binlog:给复制和恢复留的底稿
binlog 属于 Server 层,不管下面用的是 InnoDB 还是别的引擎,只要开了 log_bin 就会记。它按 event 组织,一个事务从 BEGIN 到 XID/COMMIT 是一组完整事件;文件写满就切下一个,不会覆盖旧文件,清理靠过期时间或手动 PURGE。
三种格式的取舍很实际:STATEMENT 记 SQL,日志小,但 NOW()、UUID()、不带 ORDER BY 的 LIMIT 这类非确定性语句会让从库算出不同结果;ROW 记每一行的前镜像和后镜像,最安全,代价是日志膨胀;MIXED 让服务器自己挑。生产上大多用 ROW。
binlog 的落盘由 sync_binlog 控制:1 是每次提交 fsync,0 是把写交给操作系统,N 是每 N 次提交 fsync 一次。它和 redo 的刷盘参数是两套独立的开关,这也是很多"我明明配了双 1"事故的起点——其实只配了一个。
三、两阶段提交:让两本账对得上
真正麻烦的地方在于:redo 和 binlog 是两个独立的持久化系统,写哪个都可能成功,也都可能失败。
假设两边各写各的:redo 先落盘并标了提交、binlog 还没写就断电,主库重启后事务还在,从库却永远收不到;反过来,binlog 先落盘、redo 还没提交就断电,从库会应用它,主库却可能把它回滚。两种都是主从分叉。
MySQL 用一套内部的两阶段提交(官方文档),把"先写谁"这个致命选择,换成了固定顺序:
- prepare:InnoDB 写 redo,把事务标成 prepared,按刷盘策略落盘;
- 写 binlog:把事务的完整事件写进 binlog 并 fsync;
- commit:在 redo 里写 commit 标记。这一步即使还没落盘就崩溃也不要紧,因为 binlog 已经完整。
崩溃恢复时的裁决规则可以压缩成三句话:
- redo 里已经有 commit 标记:直接前滚;
- redo 里是 prepared,且 binlog 里有这个事务完整的 XID 事件:补提交,然后前滚;
- redo 里是 prepared,但 binlog 里找不到完整事务(末尾可能是半截 event):用 undo 回滚。
# 崩溃恢复的裁决逻辑(伪代码)
def decide(trx, binlog_xids):
if trx.state == "COMMITTED": # redo 里已有 commit 标记
return "roll_forward"
if trx.state == "PREPARED":
if trx.xid in binlog_xids: # binlog 中有完整事务
return "commit" # 补写 commit 标记,再前滚
return "rollback" # binlog 不完整,用 undo 回滚
return "rollback" # 连 prepare 都没到
注意"binlog 完整"不是看文件大小,而是看这个事务的 XID 事件有没有完整落盘;binlog 末尾的半截事件在恢复时会被截断。这也是为什么 binlog 必须带事务边界,而不能只是一串裸 SQL。
四、组提交:把 fsync 的次数摊薄
双 1 配置下,每个事务至少要两次 fsync(redo 一次、binlog 一次),高并发时磁盘根本忙不过来。组提交把多个事务的刷盘合并:一批事务的 redo 一起 fsync,一个 leader 线程带着这批事务的 binlog 一起 fsync,再把 commit 标记批量写回。
顺序约束没有变:binlog 必须在 redo prepare 之后、redo commit 之前落盘。变的只是"一次 fsync 服务多少个事务"。所以双 1 并不等于"每个事务独享一次磁盘 IO",吞吐可以靠并发批量拉起来,而不是靠把参数改成 0。
常见考点与误区
- 误区一:redo log 是 binlog 的缓存,两者可以互相替代。 层级不同(引擎层 vs Server 层)、内容不同(页级物理修改 vs 逻辑变更)、生命周期不同(循环覆盖 vs 追加归档)。redo 不能拿来做主从复制,binlog 也不能单独做崩溃恢复,因为它可能还没落盘,也没有页级前滚能力。
- 误区二:commit 返回时,数据已经写进 .ibd 文件。 提交只保证日志按配置落盘,脏页由后台线程异步刷。所以刚提交就 kill -9,重启后靠 redo 重放;"数据文件比日志旧"完全正常。
- 误区三:redo log 调得越大越好。 容量大能吸收更长时间的写入峰值、减少 checkpoint 抖动,但崩溃恢复要重放更多日志,启动时间变长,恢复时间约等于要扫描的日志量除以磁盘带宽。容量应该按"峰值写入速率 × 可接受恢复时长"来定,不是拍脑袋拉满。
- 误区四:配了 sync_binlog=1 就不会丢数据。 本地崩溃恢复靠的是 redo;binlog 保证的是复制与 PITR。反过来,只配 innodb_flush_log_at_trx_commit=1、sync_binlog=0,崩溃时可能出现主库有、binlog 没有的已提交事务,从库自然缺一段。
- 误区五:两阶段提交能保证主从强一致。 它保证的是崩溃恢复时 redo 与 binlog 对"这个事务提没提交"给出同一个答案,不解决异步复制的延迟,也不解决半同步超时后退化成异步的问题。主从一致性是另一套机制的事。
- 考点六:statement 格式为什么会主从不一致? 非确定性函数、依赖自增或环境状态的语句、没有 ORDER BY 的 LIMIT,在从库重放时可能选中不同的行。ROW 格式记录具体行的前后镜像,绕开了这个问题,但日志量和网络传输会上升。
- 考点七:误删数据该用哪个日志恢复? 用 binlog 做 PITR:全备加上从备份点到故障点的 binlog 重放。redo 是循环写的,早就被覆盖了,不承担归档职责。
实践建议
- 核心交易链路坚持双 1:innodb_flush_log_at_trx_commit=1、sync_binlog=1。性能不够时先看组提交是否被大事务拖累、磁盘是否撑不住 fsync,再考虑批量合并写,而不是把参数降到 0 或 2 换吞吐。
- 按恢复目标反推 redo 容量:先估算峰值写入速率和可接受的启动恢复时间,再定容量;8.0.30 之后用 innodb_redo_log_capacity 统一控制,可以在线调整。容量长期贴近上限、checkpoint 频繁追赶,就是该扩容或优化大事务的信号。
- 监控 checkpoint 落后量,而不是只看磁盘使用率:Log sequence number 与 Last checkpoint at 的差值接近容量时,写入随时可能因为等刷脏而抖动,应该提前告警。
- binlog 保留期要覆盖"最坏恢复场景":至少大于全备周期,并留出发现故障、定位备份、重放的时间;用 binlog_expire_logs_seconds 管理,别手动删正在被从库读的文件。定期做一次真实 PITR 演练,比在文档里写"已开启 binlog"有用得多。
- 大事务拆批:一次改几十万行的 UPDATE 会同时撑大 redo 占用、binlog 体积和从库延迟,拆成可控批次,既缩短锁持有时间,也让组提交更有效。
- ROW 格式下谨慎使用 binlog_row_image=MINIMAL:它只记被改的列,省空间,但某些闪回、审计和恢复工具需要完整前镜像;链路上有这类工具时,保持 FULL 更稳妥。
一句话总结:redo 管"崩溃后怎么重做",binlog 管"别人怎么跟着做",两阶段提交只负责让这两件事不会各说各话。