数据工程与实时计算.
理解采集、消息队列、状态计算与查询服务;以故障注入、指标观察和恢复验证代替只背理论。
适合人群
具备 Java、SQL 基础的数据开发与平台工程师。
学习前提
会运行 Docker、编写基本 SQL,知道生产者与消费者模型。
我的学习进度0 / 4 阶段
阅读验收标准、实际完成动手任务后再勾选。状态仅在当前浏览器保存,不表示项目测试自动通过。
课程正文.
本路线已有 1 篇独立原创讲义,包含实验、代码与验收。
四阶段路线.
不设强制时间,每阶段自行完成并核对验收标准。
阶段 01
消息与存储
学习要点
- Kafka Topic、Partition、Offset、Consumer Group
- 事件 Schema、延迟、重试与死信数据
动手交付
多分区生产者与消费者 demo
验收标准
可观察消费进度及分区不均的影响
阶段 02
流处理与状态
学习要点
- Flink 时间语义、Window、Watermark
- State、Checkpoint、背压与恢复
动手交付
带状态的 Flink 流处理任务
验收标准
人工触发失败后可检查恢复行为和输出边界
阶段 03
查询与性能
学习要点
- ClickHouse 列式存储、分区与排序键
- EXPLAIN、查询剖析和数据分布
动手交付
一份可重复运行的查询优化实验
验收标准
提供查询 SQL、样本规模与前后对照指标
阶段 04
端到端运维
学习要点
- 端到端延迟与数据质量检查
- 故障注入、根因归纳、告警与回归
动手交付
Kafka → Flink → ClickHouse 的小型流水线
验收标准
记录可验证的输入输出、失败路径与运行指标
对应的开源项目.
完成本路线后
交付一套可重放输入、故障注入、指标解释和恢复验证的数据管道样例。
资料、代码与实验记录仅在经过检查后再公开发布。