双活上线之后,一次光缆故障为什么还能打穿全站
容灾是主中心失守后还能在承诺的 RTO 内恢复、把数据丢失控制在 RPO 以内的能力,多活则是多个中心同时承接流量的部署形态,两者解决的不是同一个问题。很多团队上了双活,却把数据库主库、注册中心、DNS 和配置中心留在同一处,机房看似两个、故障域其实只有一个。更隐蔽的是写入:两个中心都能写,同一行数据就会在复制链路上互相覆盖,最后写入胜出还会静默丢数据。读完你能按故障域、RTO/RPO、流量调度、写入归属四步拆解一套多活方案,分清单元化、同步复制与异步复制的代价,并用演练验证切换而不是只看架构图。
是什么
容灾(Disaster Recovery)指的是某个故障域整体失效后,系统能在承诺的 RTO 内恢复服务,并把数据丢失控制在 RPO 以内的能力。RTO 是恢复服务的最长可接受时间,RPO 是最多可接受的数据回退量。多活则是一种部署形态:多个中心同时对外承接流量,让单点失效不再等于全局停摆。一句话直觉:容灾是"楼塌了还能不能在约定时间开门",多活是"两家分店同时营业";如果两家分店共用同一个仓库和收银系统,开得再多也仍然只是一个故障域。
常见场景有三类:同城双活抵御机房或可用区级故障,异地多活抵御城市级灾害,两地三中心则用同城双活加异地灾备兼顾两者。这里要先分清一个关系:容灾是目标,多活是手段。主备架构同样可以做到容灾,多活也完全可能因为共享依赖而毫无容灾能力。
核心原理
第一件事是画故障域,不是画机房。 故障域是"一次故障能同时影响到的最大范围":进程、主机、机架、可用区、地域、城市,以及光缆、电力、DNS、IAM、KMS、配置中心、注册中心、消息集群、CI/CD 这些共享依赖。很多"双活"只在应用层部署了两套,数据库仍是一个主库,注册中心客户端只配了一个地址,镜像仓库和密钥服务也只有一份;主库所在机房掉电,两边应用一起变成只读。判断标准很朴素:把某个组件单独拿掉,业务是降级还是全挂?如果两个中心共享同一个控制面,它们就是一个故障域。AWS 的容灾白皮书也提醒,切换时应尽量只依赖数据面操作,因为控制面的可用性目标通常低于数据面(容灾策略分级)。
第二件事是用 RTO/RPO 选形态,而不是反过来。 AWS 把容灾策略分成四档:备份恢复的 RTO/RPO 在小时级;Pilot Light 只常驻数据复制与核心基础设施,恢复要几十分钟;Warm Standby 常驻一套缩容但可用的环境,分钟级接管;多活让多个地域同时服务,恢复时间趋近于零,成本和复杂度最高(REL13-BP02)。这条曲线是单调的:想快,就要提前把容量、数据和依赖都点亮。很多团队一上来就喊多活,实际业务只能接受十分钟停机,Warm Standby 就够了;反过来,核心交易只做备份恢复,真出事时 RTO 根本兜不住。
第三件事是把流量切干净,并留出承接容量。 多活的入口通常靠 DNS、全局负载均衡或 Anycast。DNS 看似简单,但 TTL 会被递归解析器缓存,故障时"改了记录"不等于"用户立刻过来";关键业务更适合静态接入 IP 加健康检查,或者客户端内置多地址与重试。切换时还有一笔常被忽略的账:平时两个中心各扛一半,故障时幸存的一边要接住全部流量。容量必须按单边全量验证,或者明确哪些功能可以降级,不能假设"另一边还有一半空余"。
第四件事,也是最难的一件:写入只能有一个主人。 同城双活常用同步复制,主库提交要等同城副本确认,RPO 可以做到零,代价是每次写都多一个往返;异地跨城 RTT 通常几十毫秒,同步复制会把这段延迟写进响应时间,还会让主库的可用性绑在远端身上,所以异地更常见的是异步复制加单元化。单元化的做法是按租户、用户或订单号做稳定路由,让同一份数据永远只落到一个单元写,另一边只读;冲突从"两个写入口"这个前提上被消掉了。代价是跨单元调用要显式设计,扩容时还要迁移数据。
如果业务确实需要多个写入点,就要面对冲突。最后写入胜出(LWW)实现最简单,但它依赖时钟,时钟漂移会让"谁更新"判断错,而且被覆盖的写会静默消失。版本向量能识别两次修改是先后还是并发,CRDT 能把计数、集合这类可交换的数据自动合并,但余额、库存这类带不变量的数据不能靠合并解决。唯一键和自增 ID 也要提前规划:两库错开步长只适合中心数固定的场景,加第三个中心就会撞号。双写更不是方案——应用先后写两个库,中间失败就是半成功,可靠的做法是用本地事务加 Outbox,再通过 CDC 投递到另一侧(写冲突的几种治理方式)。
import hashlib
CELLS = ("az-a", "az-b")
def owner_cell(tenant_id: str) -> str:
# 同一租户永远落同一个单元;扩容时改用一致性哈希减少迁移
h = int(hashlib.sha256(tenant_id.encode()).hexdigest(), 16)
return CELLS[h % len(CELLS)]
def write_order(tenant_id: str, order_id: str, conns: dict) -> None:
cell = owner_cell(tenant_id)
conn = conns[cell]
with conn.cursor() as cur:
# 只有 owner 单元接受写,另一单元只读,写冲突从源头消失
cur.execute("INSERT INTO orders(id, tenant_id) VALUES(%s, %s)",
(order_id, tenant_id))
conn.commit()
最后是一致性体验。 用户在 A 中心写完,下一次请求被负载均衡甩到 B,可能读到还没同步过去的旧值,于是以为没保存,又点了一次。解决思路不是"把复制调快"这么简单:可以让同一用户的读写粘在 owner 单元,或者返回一个复制位点,读方等到位点再返回;对时效敏感的页面,宁可直接读主。复制延迟、冲突率、时钟漂移都应该是常驻指标,而不是出事才查。
常见考点与误区
- "多活就是容灾":多活提升的是单边失效时的可用性,不解决数据损坏、误删、共享控制面故障。两个中心同城,也挡不住城市级灾害;真要保城市级,只能异地。
- "RTO/RPO 写在架构图上就算数":RTO 包含故障发现、决策、DNS 生效、容量拉起、预热和数据校验,任何一段没演练过都是估值;异步复制下的 RPO 约等于复制延迟,不是零。
- "两个中心都部署了应用就是双活":不接流量的是热备,不是双活;接了流量但共用一个数据库主库,故障域仍然只有一个。
- "多写用 LWW 就解决了":LWW 会静默丢写,且依赖时钟;并发写的本质是语义冲突,不是谁后到谁赢。余额、库存、唯一键不能用 LWW 糊过去。
- "同步复制一定比异步好":同步复制把对端 RTT 和可用性绑进每次写,跨城场景可能拖垮主库;同城同步、异地异步是常见组合,关键看业务能接受多大的 RPO。
- "故障切换越自动越好":健康检查误判会触发切换风暴甚至脑裂;自动切换要有仲裁、确认窗口和防抖,核心业务保留人工闸门,但把步骤做成一键。
- CAP 怎么答:不要说"三选二"就完事。分区是常态,真正要选的是分区时拒绝写还是接受不一致;多活多数走 AP 加最终一致,账务类走单写或共识。
实践建议
- 先做业务分级:按"停机一小时损失多少"把系统分成几档,分别定 RTO/RPO。核心交易用单元化加同城同步,读多写少的业务可以本地读加单写,内部系统用 Warm Standby 往往比硬上多活更划算。
- 列一张故障域清单:DNS、证书、IAM、KMS、配置、注册中心、消息、对象存储、专线、监控、发布系统,逐个标注"共享、独立、可降级"。共享项要么改成多套,要么准备好手工绕行。
- 写入路径收口:一个数据一个 owner,路由规则放在接入层统一下发,禁止应用自己连另一个中心的库。跨单元操作显式建模,用 Saga、Outbox 或补偿,不要藏在一次远程调用里。
- 按全量承接做切换演练:压测幸存单边接 100% 流量,提前调低 DNS TTL,验证客户端重试和连接排空;设置切换确认窗口,避免健康检查抖动导致来回切。回切往往比切换更难,先追平数据再切回。
- 备份与多活分开做:多活防的是"机房没了",备份防的是"数据被改坏了"。保留不可变或离线副本,定期做恢复演练;没有恢复验证的备份,只能算心理安慰。
- 把演练当发布:每季度至少一次真实切流,记录实际 RTO、丢失事务数、失败步骤;演练前冻结变更,演练后补齐 runbook。指标上常驻复制延迟、跨城 RTT、时钟漂移和单边容量水位。
一句话总结:多活能复制机房,复制不了故障域;先把写入归属和共享依赖收成单点,容灾才不是一张架构图。