LESSON 01 / 进阶 / 60–90 分钟

Kafka → Flink 排障实验:Lag、背压与 Checkpoint 的证据链

建立真实故障假设和观测表,区分消息积压、流处理背压及状态恢复边界。

学习参考:查看外部参考仓库或文档 ↗。本文是独立编写的讲义,不是原文镜像或作业答案转载。

本页目录 · 6 节

从异常现象而不是技术名词开始

假设某个数据处理链路突然出现端到端延迟上升。上游 Kafka Consumer Lag 增长不一定意味着 Kafka 自身有故障。原因还可能包括生产流量突增、消费者实例数不足、分区热点、Flink 下游背压和 Sink 变慢。

先建立观察表,按时间戳记录:每分区生产速率、消费速率、Lag、Consumer Group 成员与重平衡、Flink 各算子吞吐/忙碌/背压、Checkpoint 成功率与持续时长、Sink 响应延迟。

一条机制链

  1. 假设 Sink 查询变慢,导致下游算子处理能力不足。
  2. 背压可能向上游传播,使 Flink Source 消费速率下降。
  3. 若 Kafka 生产持续,相关消费位点与日志末端距离拉大,即 Lag 变大。
  4. 恢复 Sink 性能后,Lag 可能随处理能力恢复而下降,但需确认 Checkpoint 和输出正确性。

请注意,这只是待验证的候选解释,不是所有 Kafka/Flink 架构都按此表现;关键取决于具体 Connector、Offset 提交机制与版本配置。

离线实验:先验证诊断逻辑

下列 Python 脚本用模拟观测展示“现象相同、原因可能不同”。它不是 Kafka/Flink 真实运行输出:

samples = [
    {"name": "producer_spike", "produce": 130, "consume": 90, "sink_ms": 10},
    {"name": "sink_slow", "produce": 90, "consume": 50, "sink_ms": 250},
    {"name": "balanced", "produce": 90, "consume": 90, "sink_ms": 10},
]
for row in samples:
    delta = row["produce"] - row["consume"]
    print(row["name"], "lag_delta_per_second=", delta,
          "sink_ms=", row["sink_ms"])

delta 为正表示在该简化模型中 backlog 增长;真实 Lag 要观察分区差异、采样窗口与提交语义,不能单靠两个速率推出真实分区 Lag 数值。

从模拟进阶到隔离环境

建议用测试集群(Docker Compose 或已有本地测试环境)设计三组实验:

  • 实例失效:停止一个消费者,记录成员数和重平衡期间的 Lag。
  • 分区热点:保持总输入量近似固定,只改变 Key 分布,观察分区负载。
  • 下游慢 Sink:增加可控制的外部处理延迟,对比 Flink 背压指标与 Checkpoint 时长。

每组实验都要有启动命令、固定事件数、失败触发点、恢复操作和观测窗口。没有真正启动组件,就只能写“实验设计”,不能填写伪造的 PASS 或延迟数字。

判断恢复是否有效

观察 Lag 回落只是第一层。还要检查:事件数量是否一致、是否发生重复、状态是否从预期 Checkpoint 恢复、下游是否已恢复吞吐。不同 Sink 的端到端精确一次语义不能只靠开启 Checkpoint 就保证。

验收问题

  1. 消费实例数超过分区数为何不一定提升并行度?
  2. 为什么 Checkpoint 持续时间变长可能和背压有关?
  3. 如何将“源流量增加”与“下游处理恶化”区分?

验收:三份实验方案、结构化证据表、恢复前后对照及未解决的疑点。参考 Kafka 源码 与 Flink 官方文档。