LLM 原理与工程.

用最小可运行实验理解 Tokenizer、Transformer、训练系统、评估和推理,将模型机制与 Agent 工程联系起来。

适合人群

有 Python 编程能力,希望理解大模型底层原理的工程师。

学习前提

Python、矩阵乘法和概率基础;最好先熟悉 PyTorch 张量与自动求导。

我的学习进度0 / 4 阶段

阅读验收标准、实际完成动手任务后再勾选。状态仅在当前浏览器保存,不表示项目测试自动通过。

课程正文.

本路线已有 6 篇独立原创讲义,包含实验、代码与验收。

全部教程 ↗

四阶段路线.

不设强制时间,每阶段自行完成并核对验收标准。

阶段 01

分词与模型结构

学习要点

  • BPE、词表、Unicode 与编码边界
  • Embedding、自注意力、位置编码与因果掩码

动手交付

玩具 Tokenizer + 因果 Attention 单元测试

验收标准

相同文本能编码与解码;未来 Token 不泄漏

阶段 02

最小训练与调试

学习要点

  • 交叉熵、Teacher Forcing、优化器和训练循环
  • 训练/验证切分、梯度、过拟合单 batch

动手交付

小语料 next-token 训练脚本

验收标准

能记录 loss 并证明可复现的训练过程,无验证集泄漏

阶段 03

资源与系统效率

学习要点

  • 显存核算、FLOPs、混合精度与梯度累积
  • KV Cache、吞吐与延迟、实验性能基线

动手交付

资源预算表与推理对照实验

验收标准

标明 batch、sequence、dtype、硬件和测量方法

阶段 04

数据、评估与对齐

学习要点

  • 数据去重、PII、污染与语料切分
  • 基准评估、统计波动、SFT/DPO/RLVR 基本思路

动手交付

固定测试集的评估报告和局限说明

验收标准

区分样本内结果与泛化能力,能说明质量与成本权衡

对应的开源项目.

完成本路线后

能独立解释核心模型组件,并交付玩具模型、训练日志、资源预算与最小评估。

资料、代码与实验记录仅在经过检查后再公开发布。
← 返回学习路线