调度只做一次决定:K8s 亲和性为什么不是运行期约束

Kubernetes 的 Pod 调度,是 kube-scheduler 在容器启动前做的一次过滤与打分:先删掉不满足硬条件的节点,再给可行节点排序,最后把 Pod 绑定到得分最高者。亲和性用节点标签和其他 Pod 的标签表达“靠近谁、避开谁”,分硬约束与软偏好,名字里的 IgnoredDuringExecution 说明它只管调度那一刻。很多人以为写了反亲和就能让副本永远均匀,或以为有 toleration 就能上污点节点;前者会被缩容和重建打破,后者还要过资源与亲和两道门。读完你能分清 nodeAffinity、podAffinity、污点与拓扑分布各自的边界,写出不会把自己卡死的调度约束,并在 Pod Pending 时按插件顺序定位原因。

是什么

Kubernetes 的 Pod 调度,是 kube-scheduler 在 Pod 创建之后、容器启动之前,替它从集群里挑一个节点并写入绑定关系的过程。它挑节点的依据不是“这台机器现在闲不闲”,而是 Pod 自己声明的资源请求、节点标签、其他 Pod 的标签、污点与拓扑分布等一组约束。亲和性(affinity)就是其中用标签表达“我愿意靠近谁、避开谁”的那部分规则。

一句话直觉:调度像相亲机构的一次性撮合,只看登记时双方的条件;签完字住到一起后,一方换了工作、搬了家,机构不会再上门把人拆开。

常见场景:GPU 训练任务只去带显卡的节点池;Web 服务与本地缓存尽量同节点以降低延迟;三个副本必须分散在不同可用区;专用节点只允许某团队使用。这些诉求分别落在节点亲和、Pod 亲和与反亲和、拓扑分布约束和污点上。

核心原理

调度分两步:过滤(Filter)与打分(Score)。过滤把所有不满足硬条件的节点删掉,剩下的叫可行节点;打分给每个可行节点算一个总分,最高者胜出,同分随机。选中后 scheduler 在 Reserve 阶段预留资源,再通过 Bind 把 Pod 的 nodeName 写回 API Server。过滤插件依次检查资源请求(NodeResourcesFit)、节点亲和(NodeAffinity)、Pod 亲和(InterPodAffinity)、污点容忍(TaintToleration)、拓扑分布(PodTopologySpread)与存储卷的可用区(VolumeBinding)。

关键在“硬”和“软”。requiredDuringSchedulingIgnoredDuringExecution 是硬条件,不满足就不进候选;preferredDuringSchedulingIgnoredDuringExecution 是软偏好,满足一条就把 1–100 的权重加进分数,没有任何节点满足也照样调度。名字里的 IgnoredDuringExecution 常被忽略:它只保证调度那一刻成立,之后节点标签变了、Pod 标签变了,已经运行的 Pod 不会被迁走。

节点亲和与 nodeSelector 都是对节点标签做判断,但表达力不同。nodeSelector 只支持等值匹配,多个标签之间是 AND;nodeAffinity 支持 In、NotIn、Exists、DoesNotExist、Gt、Lt。多个 nodeSelectorTerms 之间是 OR,同一个 term 里的多条 matchExpressions 是 AND;如果同时写了 nodeSelector 和 nodeAffinity,两者都要满足。这一层布尔关系是面试最爱追问的地方。

Pod 亲和与反亲和把判断对象从节点换成了“某个拓扑域里已有的 Pod”。topologyKey 指定域用哪个节点标签划分,比如 kubernetes.io/hostname 是单节点,topology.kubernetes.io/zone 是可用区。规则里的 labelSelector 选 Pod,namespaces 不写就只看本命名空间。硬反亲和一旦生效,同一个域里就只能有一个匹配的 Pod;而且它是双向的:已经运行的 Pod 上写的硬反亲和,会挡住后来者,不需要后来者也写一遍。代价是每个待调度 Pod 都要和域内 Pod 比对,官方明确不建议在数百节点以上的集群大量使用。

污点与容忍则是反方向的机制:污点打在节点上,表示“别来”;容忍写在 Pod 上,表示“我能接受”。容忍只是允许,不是保证——资源不够、亲和不合,照样调不过去。NoSchedule 只挡新 Pod,NoExecute 还会驱逐不容忍的在跑 Pod,PreferNoSchedule 只是打分时的偏好。

如果目标只是“副本别挤在一起”,拓扑分布约束通常比 Pod 反亲和更合适。maxSkew 控制最大倾斜:某个域里的匹配 Pod 数减去全局最小值,不能超过它;whenUnsatisfiable: DoNotSchedule 表示不满足就 Pending,ScheduleAnyway 表示尽量满足。举例来说,三个可用区里已有 2、2、1 个匹配 Pod,全局最小值是 1,maxSkew 为 1 时新 Pod 只能去第三个区,因为去前两个区会把倾斜拉到 2。minDomains 用来防止“可用区还没扩出来时,副本全挤在仅有的一个区”。多个约束之间是 AND,缺 topologyKey 的节点会被直接跳过。它只保证调度当时尽量均匀,缩容后不保证仍然均匀。

反亲和与拓扑分布的差别也在这里:前者回答“这个域里能不能再放一个”,硬规则下往往退化成一域一个;后者回答“各域的数量差多少算过分”,允许一个域里放多个,只要别比其他域多出 maxSkew。想提高可用性又不想把副本数锁死,后者通常更合适。

spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: pool
            operator: In
            values: ["gpu"]
  topologySpreadConstraints:
  - maxSkew: 1
    topologyKey: topology.kubernetes.io/zone
    whenUnsatisfiable: DoNotSchedule
    labelSelector:
      matchLabels: {app: api}

还有一个容易忽略的性能细节:调度器不必给所有节点打分。percentageOfNodesToScore 设为 0 时,它会按集群规模取 5%–50% 的节点,找到足够多的可行节点就停止搜索。所以“明明 B 节点更空,为什么去了 A”有时不是 bug,而是候选集根本没扫到 B。

如果过滤后一个可行节点都没有,调度器会进入 PostFilter,尝试抢占:找一个删掉若干低优先级 Pod 后能放下当前 Pod 的节点,把这些受害者驱逐。抢占不是无代价的:受害者要走优雅终止,可能拖几十秒;PodDisruptionBudget 只是尽力遵守,找不到合规受害者时仍然会抢占;如果待调度 Pod 对受害者有硬亲和,删掉它们反而让规则无法满足,这个节点就不会被考虑。跨节点抢占同样不做:待调度 Pod 在节点 N 上被同可用区另一台机器的 Pod 反亲和挡住时,调度器不会为了 N 去驱逐那台机器上的 Pod。

常见考点与误区

  • “required 和 preferred 只差一个词,效果差不多”:差很多。required 不满足直接 Pending;preferred 只加分,不是调度失败的原因。把关键隔离写成 preferred,等于没隔离。
  • “多个 nodeSelectorTerms 是 AND”:反了。terms 之间是 OR,term 内 expressions 之间是 AND;再叠加 nodeSelector 的 AND。写错一层,节点池就可能被放宽或收窄。
  • “有 toleration 就能上污点节点”:错。容忍只解除污点这一道门,资源、亲和、拓扑分布、卷绑定仍要过。反过来,只配 nodeAffinity 不配污点,其他 Pod 仍可能占满专用节点。
  • “podAntiAffinity 能保证副本永远分散”:只能保证调度那一刻。硬反亲和会挡住当时的新 Pod,但缩容、滚动更新、节点故障后的重建都可能留下倾斜;preferred 更是随时可破。要均匀分布用 topologySpreadConstraints,要事后纠偏用 descheduler。
  • “给节点改标签,Pod 会被赶走”:不会。nodeAffinity 的 IgnoredDuringExecution 就是字面意思;只有 NoExecute 污点会驱逐不容忍的 Pod。改标签只影响以后调度的 Pod。
  • “调度器看的是 CPU 实际使用率”:错。调度按 requests 记账,实际用量只影响 kubelet 驱逐和 HPA。既没写 requests 也没写 limits 的 Pod 会按零请求记账,可能把节点塞爆;只写 limits 时 requests 默认等于 limits。
  • “硬反亲和一定跨节点”:不一定。域由 topologyKey 决定;写 hostname 是一节点一个,写 zone 是一区一个。写错 topologyKey,隔离粒度就完全不同。
  • “节点 NotReady,Pod 马上就会被迁走”:不会马上。节点失联后控制面会打上 NoExecute 污点,但 Pod 默认自带 300 秒的容忍时间,五分钟后才被驱逐,控制器再重建。有状态服务要结合数据一致性与恢复时间单独评估 tolerationSeconds,不能照搬默认值。
  • “Pending 就是资源不够”:资源只是最常见的一种。污点没容忍、亲和写得太死、拓扑分布互相冲突、PVC 绑在别的可用区、命名空间配额用尽,都会让 Pod 停在 Pending;describe 的 Events 通常会直接写出是哪个环节拒绝。

实践建议

  • 先分清诉求:选节点用 nodeAffinity 或 nodeSelector,排斥不相关负载用污点,副本打散用 topologySpreadConstraints。不要用 Pod 反亲和承担所有打散职责。
  • 专用节点池要“污点 + 亲和”成对出现:节点打 taint,Pod 写 toleration 和 required nodeAffinity。只打污点,带容忍的 Pod 仍可能跑到普通节点;只写亲和,别的 Pod 仍会来抢。
  • 所有工作负载都写 requests,最好再配 limits。调度器只认申请值,requests 写小了会把节点超卖,写大了会制造无谓的 Pending。
  • 用拓扑分布时让 labelSelector 匹配 Pod 自己的标签,否则会出现“幽灵 Pod”:它不把自己算进分布,约束形同虚设。跨命名空间统计要显式写 namespaces。
  • 大集群少用 required 的 podAffinity 和 podAntiAffinity;必须用时把 namespaces 收窄,配合 matchLabelKeys: [pod-template-hash],避免滚动更新时新旧版本互相排斥而卡住。
  • 关键服务可以配 PriorityClass 和 PDB,但别给普通业务高优先级:抢占会驱逐别人,PDB 在抢占路径上只是尽力遵守,不能当成绝对保护。先确认集群真有资源缺口,再谈优先级。
  • 排查 Pending 先看 kubectl describe pod 的 Events,再对照节点标签、污点、配额、PVC 可用区。Events 里通常会逐个节点列出拒绝原因,能直接指到是哪个 Filter 没过。

一句话总结:调度是一次基于声明的过滤与打分,亲和性只在那一刻生效,运行期的稳定要靠污点、分布约束和事后纠偏共同维持。

相关阅读

← 返回文章志