数据工程与实时计算.

理解采集、消息队列、状态计算与查询服务;以故障注入、指标观察和恢复验证代替只背理论。

适合人群

具备 Java、SQL 基础的数据开发与平台工程师。

学习前提

会运行 Docker、编写基本 SQL,知道生产者与消费者模型。

我的学习进度0 / 4 阶段

阅读验收标准、实际完成动手任务后再勾选。状态仅在当前浏览器保存,不表示项目测试自动通过。

课程正文.

本路线已有 1 篇独立原创讲义,包含实验、代码与验收。

全部教程 ↗

四阶段路线.

不设强制时间,每阶段自行完成并核对验收标准。

阶段 01

消息与存储

学习要点

  • Kafka Topic、Partition、Offset、Consumer Group
  • 事件 Schema、延迟、重试与死信数据

动手交付

多分区生产者与消费者 demo

验收标准

可观察消费进度及分区不均的影响

阶段 02

流处理与状态

学习要点

  • Flink 时间语义、Window、Watermark
  • State、Checkpoint、背压与恢复

动手交付

带状态的 Flink 流处理任务

验收标准

人工触发失败后可检查恢复行为和输出边界

阶段 03

查询与性能

学习要点

  • ClickHouse 列式存储、分区与排序键
  • EXPLAIN、查询剖析和数据分布

动手交付

一份可重复运行的查询优化实验

验收标准

提供查询 SQL、样本规模与前后对照指标

阶段 04

端到端运维

学习要点

  • 端到端延迟与数据质量检查
  • 故障注入、根因归纳、告警与回归

动手交付

Kafka → Flink → ClickHouse 的小型流水线

验收标准

记录可验证的输入输出、失败路径与运行指标

对应的开源项目.

完成本路线后

交付一套可重放输入、故障注入、指标解释和恢复验证的数据管道样例。

资料、代码与实验记录仅在经过检查后再公开发布。
← 返回学习路线