LLM 原理与工程.
用最小可运行实验理解 Tokenizer、Transformer、训练系统、评估和推理,将模型机制与 Agent 工程联系起来。
有 Python 编程能力,希望理解大模型底层原理的工程师。
Python、矩阵乘法和概率基础;最好先熟悉 PyTorch 张量与自动求导。
阅读验收标准、实际完成动手任务后再勾选。状态仅在当前浏览器保存,不表示项目测试自动通过。
课程正文.
本路线已有 6 篇独立原创讲义,包含实验、代码与验收。
从 UTF-8 字节到 BPE:亲手训练玩具 Tokenizer
从词表、字节编码、频次合并讲起,实现可逆的字节级 BPE,并用边界样例验证。
Transformer 的因果自注意力:张量形状与未来信息屏蔽
用 PyTorch 写一个最小多头因果 Attention,并以“前缀不应受未来 Token 影响”做单元测试。
训练一个最小语言模型:交叉熵、过拟合实验与验证边界
从 next-token 监督信号和交叉熵开始,搭建小型 Bigram 语言模型训练循环。
训练与推理的显存预算:参数、梯度、优化器与 KV Cache
用量纲和可执行的预算脚本区分模型参数量、训练峰值与推理上下文成本。
模型数据与评估:去重、污染、切分和可复现报告
围绕数据泄漏和评估污染构建检查脚本,用固定测试协议解释指标而不是只展示排行榜。
从推理服务到对齐:KV Cache、批处理、SFT 与偏好优化
把生成服务的时延约束与模型训练阶段区分,理解推理调度和对齐方法的工程代价。
四阶段路线.
不设强制时间,每阶段自行完成并核对验收标准。
分词与模型结构
学习要点
- BPE、词表、Unicode 与编码边界
- Embedding、自注意力、位置编码与因果掩码
动手交付
玩具 Tokenizer + 因果 Attention 单元测试
验收标准
相同文本能编码与解码;未来 Token 不泄漏
最小训练与调试
学习要点
- 交叉熵、Teacher Forcing、优化器和训练循环
- 训练/验证切分、梯度、过拟合单 batch
动手交付
小语料 next-token 训练脚本
验收标准
能记录 loss 并证明可复现的训练过程,无验证集泄漏
资源与系统效率
学习要点
- 显存核算、FLOPs、混合精度与梯度累积
- KV Cache、吞吐与延迟、实验性能基线
动手交付
资源预算表与推理对照实验
验收标准
标明 batch、sequence、dtype、硬件和测量方法
数据、评估与对齐
学习要点
- 数据去重、PII、污染与语料切分
- 基准评估、统计波动、SFT/DPO/RLVR 基本思路
动手交付
固定测试集的评估报告和局限说明
验收标准
区分样本内结果与泛化能力,能说明质量与成本权衡
对应的开源项目.
datawhalechina/diy-llm
按中文章节与六项作业系统学习 Stanford CS336 相关主题
weiruihhh/cs336_note_and_hw
参考独立课程笔记及作业实现过程,注意作者自述的未完善部分
完成本路线后
能独立解释核心模型组件,并交付玩具模型、训练日志、资源预算与最小评估。
资料、代码与实验记录仅在经过检查后再公开发布。