CookLLM(官网 https://cookllm.com/)是一套「大模型全栈工程体系:架构、训练与应用」的中文课程,目标是深度揭示大语言模型的底层逻辑与工程细节,覆盖架构设计、训练基建、MLLM 与 Agent 等核心领域。它的教学方式是把清晰的交互式文档与从零构建(From-Scratch)的代码结合起来,让学习者把公式与实现一一对应,而不是停留在调包和调 API 的层面。官网的口号是「往深了钻,造真的东西」。
课程分两条主线。原理精讲有六个板块:基础(Tokenization、Transformer、优化)、系统(GPU Kernels、并行)、规模化(Scaling Laws、算力预算)、数据(清洗、过滤、去重、混合)、评估(Benchmark、解析)、后训练(SFT、RLHF、GRPO、DPO)。动手训练对应 cookllm-bento 代码库,从数据准备、分词器训练(RustBPE、tiktoken)、模型搭建(BentoLM、RoPE、Muon)、预训练、中期训练(长上下文)到后训练对齐(SFT、RLHF、PPO),端到端跑通自己的小模型(BentoLM 29M→134M)。
入门课教怎么用模型;CookLLM 教怎么造模型,从 Tokenization 一直讲到预训练与 RLHF 对齐
Hugging Face 课程以使用其生态工具为主线;CookLLM 强调从零构建每个核心模块,并提供中文交互式文档与中文社区
nanoGPT 是英文开源项目、偏代码与讲解视频;CookLLM 提供中文体系化课程、六大原理板块与端到端训练主线,并附代码仓库与后续更新
官网 FAQ 列有该问题,面向想真正理解大模型底层实现的人;具体门槛见官网解答。
官网 FAQ 专门列了这个问题,建议查看官网解答;素材未给出结论。
官网强调从零实现、交互式文档与配套代码库,重点在原理与工程细节而非调包。
官网写明一次买断后解锁现有及未来所有课程章节,并享受后续更新。
官网定价区显示终身版原价 139 美元、现价 39 美元(以页面实际价格为准)。
从零训练大语言模型的全栈课程:六大原理板块加端到端动手训练小模型
带你从头训练一个 LLM