日志量不小,为什么事故时一条都搜不到:采集链路的五道关
日志采集不是把文件搬进搜索引擎,而是一条从产生到可检索的多级管道:应用写入、采集器读取、缓冲、传输、索引存储,每一级都有自己的容量上限和丢弃规则。事故时搜不到日志,最常见的原因不是网络断了,而是容器日志被轮转覆盖、多行堆栈被拆散、内存缓冲满了丢最旧、高基数标签把索引撑爆。端到端也做不到严格的 exactly-once,只能靠至少一次投递加幂等去重来逼近。本文按五道关拆开每一处默认丢弃点,说明背压为什么会反噬应用,并给出可执行的容量、缓冲与保留期设计清单。
是什么
日志采集系统,是把分散在进程、容器、节点上的日志,经过采集、解析、缓冲、传输、索引,最终变成「能按条件在秒级搜出来」的一条管道。它常被当成搬运工:把 stdout 的文件搬进 Elasticsearch 或 Loki。这个理解会直接导致设计跑偏。
一句话直觉:它不是在搬运,而是在预算内做有损压缩——每个环节都有容量上限,满了就必须决定丢什么、丢谁的、丢了怎么让人知道。
典型场景:几百个 Pod 的集群日均几 TB 日志,事故时要按 trace_id 把一次请求的日志、指标、链路拼起来;或者监管要求某些日志留 180 天,debug 只留 3 天。真正难的从来不是「采上来」,而是「该留的没丢、该丢的没留」。
核心原理
一条日志要过五道关:产生、读取、缓冲、传输、索引。像快递分拣:不是一条传送带直达,而是五个仓库接力,每个仓库门口都写着「仓位满了按此规则处理」。设计采集系统,本质是把这五条规则一条条写清楚。
第一关:产生端,日志还没出门就可能没了
应用写日志要么同步落文件或网络,要么先写内存队列由后台线程刷。同步 appender 在磁盘慢或远端卡住时会直接拖住业务线程,一次日志抖动变成接口超时;异步队列则用丢失风险换延迟,队列满时的策略(阻塞、丢新、丢旧)就是第一个丢弃点。
容器场景更隐蔽。应用写 stdout,容器运行时把它落成文件,kubelet 负责轮转,默认单文件 10Mi、每个容器保留 5 个,也就是约 50MB;kubectl logs 只能看到最新那个文件。日志一多,十分钟就能把这个窗口滚过去。Pod 被驱逐或节点宕机时,本地日志跟着消失——Kubernetes 的日志架构明确说集群级日志必须独立于节点存储,原因就在这里。
多行也是坑。Java 的堆栈、Python 的 traceback 在 stdout 里是很多行,容器运行时按行落盘,采集器只能靠正则猜「哪行属于上一条」。并发高时两个请求的堆栈交错在一起,正则再聪明也还原不了。正确做法是应用直接输出 JSON,把整个堆栈放进一个字段。
第二关:读取端,轮转跑得比采集快
节点上的采集器(DaemonSet 部署的 Fluent Bit、Vector、Filebeat 等)按路径 tail,要维护三样东西:读到哪个文件的哪个偏移量、文件 inode、通配符匹配到的新文件。日志轮转一发生,旧文件被改名、新文件被创建,inode 就变了;采集器若跟着旧 inode 读完,必须保证新文件能被及时发现;若按文件名重新打开,则要把偏移量清零,否则会漏掉开头或把整段重读一遍。若轮转用 copytruncate,复制完到截断之间写入的日志会直接消失。
还有一个默认值问题:轮转保留份数有限,采集器一旦因背压暂停几分钟,旧文件可能已被删。日志不是数据库,没有「未消费就不许删」的约束。
第三关:缓冲,背压最终会传回应用
这是最容易被低估的一关。采集器读得比后端快,差额只能进缓冲:内存队列、磁盘队列或两者混合。
以 Fluent Bit 为例,官方文档写得很直白:纯内存模式下,mem_buf_limit 满了会暂停输入插件,背压一路传回 stdout,应用写日志变慢甚至阻塞;内存环形缓冲(memrb)则相反,满了自动丢最旧的 chunk,用完整性换持续摄入;文件系统缓冲会把 chunk 通过 mmap 落盘,内存不够时只留磁盘副本,但如果输出端设置了 storage.total_limit_size,队列到上限仍然是丢最旧的 chunk。
所以「加了文件缓冲就不会丢」是错觉:它只是把「丢」的时间窗口从毫秒拉长到小时,代价是磁盘写放大和恢复重放。真正要设计的是三件事:缓冲上限多大、满了丢新还是丢旧、丢了记什么指标。
import logging, queue, threading
class BoundedHandler(logging.Handler):
def __init__(self, maxsize=10000):
super().__init__()
self.q = queue.Queue(maxsize)
self.dropped = 0
threading.Thread(target=self._drain, daemon=True).start()
def emit(self, record):
try:
self.q.put_nowait(record) # 非阻塞:宁可丢,也不拖住业务线程
except queue.Full:
self.dropped += 1 # 关键:丢弃必须可观测
def _drain(self):
while True:
self.q.get()
# 批量发送到 OTLP / Kafka,失败按退避重试
这段代码的重点不是队列,而是 dropped 计数器:没有它,你永远不知道事故窗口里少了多少条。
第四关:传输,至少一次意味着可能重复
跨节点传输通常走 Kafka 或 gRPC。面试常问「日志能不能做到 exactly-once」,标准答案是端到端做不到,工程上做的是至少一次投递加幂等消费。
生产端为了不丢会开重试、acks=all、min.insync.replicas>=2;代价是超时重试产生重复——第一次其实写成功了,只是确认丢了。消费端再重试一次,同一条日志就进库两次。要去重,得有一个稳定的幂等键,比如「来源 + inode + 偏移量」或采集器生成的 record id,在入库时做短期去重。注意去重窗口是有限的,跨天重放仍然可能重复。
分区键也影响正确性。同一个 Pod 的日志如果按随机分区,消费端并行写入后顺序就乱了,堆栈和它前面的请求行可能对不上。按来源(Pod UID 或 stream)做 key,才能保证单来源有序;代价是热点分区,需要靠足够的 partition 数摊开。
第五关:索引与存储,查得快的代价是写得贵
日志后端大致分两派。倒排索引派(Elasticsearch、OpenSearch)为字段建索引,写入放大明显:字段越多、基数越高,索引越大,merge 越重。标签派(Loki)只索引少量标签,日志正文压缩成 chunk,查询靠标签定位后暴力过滤,存储便宜,但依赖标签设计。
标签派最典型的翻车是把 request_id、user_id、trace_id 做成标签。每个取值都生成一条新 stream,索引膨胀、chunk 变小、查询变慢。Loki 的标签最佳实践直接建议单租户活跃 stream 控制在十万以内,这类高基数字段应该留在日志内容里,或作为 structured metadata,而不是标签。
时间同样会骗人。OpenTelemetry 的日志数据模型把 Timestamp(事件在源端发生的时间)和 ObservedTimestamp(采集系统看到它的时间)分开,就是因为两者可能差很远:应用时钟偏移、采集器积压、解析时把本地时间当成 UTC,都会让「按事件时间查」漏数据,而「按入库时间查」又把延迟到达的日志放错窗口。查询与保留策略必须明确用哪个时间。
最后是成本结构:存储按压缩后字节计费,保留期线性放大,索引比原文贵得多。团队最后都会走向分层:热存几天可全文检索,温存降副本只读,冷存对象存储按需恢复,过期删除。依据应该是「这类日志多久之后还有人查」,而不是统一 30 天。
常见考点与误区
- 误区:日志采不到,先怀疑网络。 绝大多数丢失发生在产生端和读取端:轮转覆盖、Pod 驱逐、多行拆散、checkpoint 落后。先看读取延迟和丢弃计数,再查网络。
- 误区:文件缓冲等于不丢。 缓冲只是延迟决策,磁盘会满、队列有上限,到了上限照样丢最旧;而且磁盘写满会连带影响同节点的其他进程。必须配独立磁盘配额和水位告警。
- 考点:日志能 exactly-once 吗? 不能。生产端重试、消费端重放都会造成重复,只能至少一次加幂等键去重;去重窗口之外仍可能重复,这是设计要接受的边界。
- 误区:采集器不该限流,限流会丢日志。 不限流时突发流量会打满节点带宽和磁盘,影响的是业务本身;正确做法是给采集器设速率上限和缓冲上限,并在触发限流时告警。
- 误区:所有字段都建索引查得更快。 索引会放大写入和存储,高基数标签还会炸掉 stream 或分片。该建索引的是过滤条件,不是每个字段。
- 考点:为什么日志要先进 Kafka 再入仓? 它提供削峰、解耦和多消费端重放,但只是缓冲,不提供端到端语义;Kafka 自己的保留期到了也会删,消费滞后同样会丢。
实践建议
- 在源头定 schema。 统一 JSON 字段:时间、级别、服务名、实例、trace_id、span_id、消息、异常堆栈、采样标记。单条设长度上限(如 16KB),超长截断并打标,避免一条日志撑爆整批。
- 给每一级都设上限并显式选择丢弃策略。 应用队列丢新并计数;采集器磁盘队列设容量、满了丢旧;后端入口做限流。策略写在配置里,不要依赖默认值。
- 把采集链路自身当服务监控。 至少看:读取延迟、发送失败率、队列深度、丢弃条数、磁盘水位、按租户日增量。没有这些指标,断流只能等事故时才发现。
- 让轮转和 tail 对齐。 优先用
create方式轮转并给采集器留足扫描间隔;避免copytruncate;保留份数要覆盖最长的一次采集器故障恢复时间。 - 分层保留加采样。 ERROR 全量保留,INFO 按请求采样,DEBUG 默认关闭或只开短窗口;热存 3–7 天,冷存按合规要求放对象存储。采样决策放在源头,比存下来再删便宜一个数量级。
一句话总结:日志采集的难点不在搬运,而在每一级都清楚地知道会丢什么、丢了多少、丢了以后还能不能查。