任务准时触发只是开头:分布式调度难在确认它真的跑完了

分布式任务调度要解决的不是到点喊一声,而是让每一次运行都有归属:谁触发、谁认领、跑到哪一步、失败后如何安全重来。单机 cron 加线程池看似够用,一旦多副本部署、需要补跑与重试,重复执行和以为跑了其实没跑就会同时出现。最常见的误区是把它当成定时器问题,用一把会过期的分布式锁保证唯一,却忽略了进程暂停后仍可能写回结果。本文从触发、租约、回执三层拆开调度器,说明至少一次语义为何躲不掉、fencing token 如何挡住僵尸执行者,并给出幂等键与补跑策略的落地做法。

是什么

分布式任务调度是把"什么时候该跑"和"在哪台机器上跑、跑成什么样"拆成两件事的一套机制:调度端计算触发时间并把任务派发出去,执行端认领、执行、回报结果,中间用一份持久化状态记录每次运行的归属。直觉上它像医院的手术排班:排班表只决定几点进哪间手术室,真正难的是确认这台手术确实做了、做完了、失败了怎么安全重来。典型场景是凌晨的对账与报表、订单超时关闭、过期数据清理、历史数据回补,以及调用外部接口失败后的延迟重试。很多人第一反应是"cron 加个线程池",单机确实如此;一旦调度器多副本、执行器可扩缩、任务要补跑,问题就从"算时间"变成了"分布式状态机"。

核心原理

先拆角色,再谈算法。 调度器本身不保存"我记住了哪些任务",它每轮从存储里领取到期任务;worker 无状态,挂了就换一台。所有事实落在同一张运行表里:任务定义、下一次触发时间、当前归属者、租约到期时间、单调递增的 fence、每次运行的状态。这样调度器可以起多个副本抢同一把租约选主,主挂了从库在几秒内接手,而不会出现两个主各自派发。

触发:把去重做在推进时间那一步。 内存里的时间轮或小顶堆最快,但进程重启就丢,只适合丢了也无所谓的短周期任务。需要持久化时,给 next_fire_at 建索引,后台按批领取到期行,用一条带条件的 UPDATE 把 next_fire_at 推进到下一个周期,谁更新成功谁负责派发——并发的两个调度器只有一个能改到这一行,重复派发在源头就被消掉了。错过很多周期时不要一次全补:显式配置只补最近一次、补最近 N 次或不补,否则一次十分钟的故障可能换来几千个补偿任务同时打向下游。

认领:租约不是死亡证明。 worker 领到任务后拿到一个有期限的租约,每隔几秒心跳续租;调度器扫描租约过期的行,把它们重新放回待派发。这里的关键认知是:租约过期只说明我没再听到你的消息,不说明对方进程停了。它可能只是被一次长时间的 GC、缺页、容器被挂起、或者网络延迟卡住,醒来后仍然认为自己持有任务并继续写结果。

回执:至少一次是物理约束,不是偷懒。 worker 执行完、写结果之前崩溃,调度器无法区分没执行和执行了但回执丢了。要至多一次,就得在执行前先标记完成,代价是崩溃时任务真的丢了;要至少一次,就得接受重复。Kubernetes 的 CronJob 文档把话说得很直白:它大约在每个执行时间创建一个 Job,某些情况下可能创建两个,也可能一个都不创建,所以 Job 必须幂等(CronJob 文档)。成熟的调度系统基本都站在至少一次加幂等这一侧。

fencing:让迟到的写入作废。 只有幂等还不够:任务 A 的旧执行者醒来后写结果,新执行者也在写,两个都合法。办法是每次认领把 fence 加一,worker 把 fence 一起带给下游存储,存储只接受比已见值更大的 token,旧执行者的写直接被拒。这就像酒店换了锁芯:旧房卡还在手里,但门不认它。Martin Kleppmann 那篇讲分布式锁的文章把这件事说透了——锁服务再完美,也挡不住持锁进程被暂停,正确性必须由被保护的存储来守(How to do distributed locking)。

时间本身也会骗人。 触发时间统一用 UTC 存,间隔用单调时钟算,展示时再转本地时区;时区规则用 IANA 数据库而不是固定偏移,否则夏令时切换那天,凌晨两点半的任务可能不触发,也可能触发两次。整点任务再加一点随机抖动,避免几千个任务在同一秒撞向下游。

def run_once(db, worker, task_id, scheduled_at):
    with db.tx() as tx:                      # 条件更新即 CAS,只有一个 worker 能领到
        row = tx.execute("""
            UPDATE task SET lease_owner = %s,
                   lease_until = now() + interval '30 seconds',
                   fence = fence + 1, state = 'running'
            WHERE id = %s AND state = 'pending' AND next_fire_at <= now()
            RETURNING fence, params""", (worker, task_id)).fetchone()
    if row is None:
        return
    key = f"{task_id}:{scheduled_at}"
    if not claim_once(db, key):              # 唯一索引冲突:这一次已经有人做过
        return
    try:
        result = do_work(row.params, fence=row.fence)   # 下游校验 fence
        mark_done(db, key, result)
    except Exception:
        release_for_retry(db, task_id, row.fence)       # 退避后重新入队

常见考点与误区

  • "cron 表达式到点就一定执行一次":Kubernetes 的语义是大约一次,控制器重启、错过次数过多、startingDeadlineSeconds 到期、concurrencyPolicy 为 Forbid 时撞上一轮未结束,都会让某次执行被跳过;错过超过 100 次时它只补最近一次,更早的不再补。面试里能把至少一次、至多一次和这些字段对上,比背 cron 语法有用。
  • "加一把 Redis 分布式锁就不会重复":锁过期与进程暂停是两件独立的事。持锁者可能在 GC 里停了一分钟,醒来后继续写,锁服务没有任何机制阻止它。锁用于省成本时无所谓,用于保正确时必须配 fencing token。
  • "失败重试就够了":重试会把非幂等副作用放大——重复发短信、重复扣款、重复建单。要的是幂等键、唯一索引、指数退避、最大次数与死信,并且区分可重试错误(超时、503)与不可重试错误(参数非法)。
  • "扫全表最简单":没有 next_fire_at 索引的轮询会随任务量线性变慢;用行锁逐条处理还会互相阻塞。批量领取、SKIP LOCKED、按任务 ID 分片、短事务,才是能撑住量的做法。
  • "exactly-once 是配置出来的":端到端恰好一次要求输出侧参与事务,比如结果表和业务表同库同事务,或写 outbox 后由下游去重。多数系统实际做到的是至少一次投递加效果上的恰好一次。
  • "调度和执行放一个进程最省事":容器里起的单机 cron 会随 Pod 重建而消失,多副本又会各跑一遍。决策与执行分离,才谈得上扩缩容和故障转移。

实践建议

  • 先选型再自研:简单的周期任务用 Kubernetes CronJob,但要配好 startingDeadlineSeconds、concurrencyPolicy 和历史保留数量;Java 生态里 Quartz、XXL-JOB 提供 misfire 策略、分片与可视化;有依赖 DAG、长流程、需要查询运行状态时用 Temporal、Airflow 这类工作流引擎。只有在多租户、强定制、成本敏感时才值得自己写调度层。
  • 任务定义落库并版本化:参数、超时、重试策略、补跑策略都跟着任务走,别塞在消息体里;执行器只读定义、不藏状态,换一台机器结果一样。
  • 幂等键用任务加计划时刻:像 order-reconcile:2026-11-15T02:00:00Z 这样的键配合结果表唯一索引,重复请求返回同一结果;外部副作用放最后,或者先写 outbox 再异步投递。
  • 租约留足余量:TTL 至少是心跳间隔的三倍,续租失败就主动停手,别赌我还能写完;下游写接口强制校验 fence,拒绝回退的 token。
  • 把没跑当成一等故障:单独监控调度延迟(计划时间与实际开始时间之差)、错过触发次数、重试次数与死信堆积。补跑策略写进配置并在界面上可见,别让它藏在某个人的记忆里。

一句话总结:调度器真正交付的不是准时,而是每一次运行都可归属、可重试、可解释。

相关阅读

← 返回文章志