首页 / 开源宝库 / CookLLM
CookLLM
// project.info

CookLLM

CookLLM 是什么

CookLLM(官网 https://cookllm.com/)是一套「大模型全栈工程体系:架构、训练与应用」的中文课程,目标是深度揭示大语言模型的底层逻辑与工程细节,覆盖架构设计、训练基建、MLLM 与 Agent 等核心领域。它的教学方式是把清晰的交互式文档与从零构建(From-Scratch)的代码结合起来,让学习者把公式与实现一一对应,而不是停留在调包和调 API 的层面。官网的口号是「往深了钻,造真的东西」。

课程分两条主线。原理精讲有六个板块:基础(Tokenization、Transformer、优化)、系统(GPU Kernels、并行)、规模化(Scaling Laws、算力预算)、数据(清洗、过滤、去重、混合)、评估(Benchmark、解析)、后训练(SFT、RLHF、GRPO、DPO)。动手训练对应 cookllm-bento 代码库,从数据准备、分词器训练(RustBPE、tiktoken)、模型搭建(BentoLM、RoPE、Muon)、预训练、中期训练(长上下文)到后训练对齐(SFT、RLHF、PPO),端到端跑通自己的小模型(BentoLM 29M→134M)。

主要功能

01原理精讲覆盖六大板块
02基础:Tokenization 与 Transformer
03系统:GPU Kernels 与推理加速
04规模化:Scaling Laws 与算力预算
05数据:清洗、过滤、去重与混合
06评估:Benchmark、解析与可靠性
07后训练:SFT、RLHF、GRPO、DPO
08动手训练端到端跑通一个小模型
09配套 cookllm-bento 代码库
10分词器训练用 RustBPE 与 tiktoken
11模型搭建含 BentoLM、RoPE、Muon
12另有 recipes 与 bento 两套代码

如何使用 CookLLM

1打开 https://cookllm.com/ 查看课程大纲与路线图
2从原理精讲的「基础」板块开始,理解 Tokenization 与 Transformer
3对照交互式文档运行其中的可运行代码,把公式与实现对上
4进入动手训练主线,获取 cookllm-bento 代码库
5按数据准备、分词器训练、模型搭建、预训练、中期训练、后训练对齐的顺序逐步跑通
6卡住时去博客、提交记录或社区(Discord、小红书等)查证

使用示例

素材中的训练主线示例:数据准备(下载、清洗、打包)→ 分词器训练(RustBPE、tiktoken)→ 模型搭建(BentoLM、RoPE、Muon)→ 预训练(基座建模、Lightning)→ 中期训练(长上下文、RoPE 缩放)→ 后训练对齐(SFT、RLHF、PPO),最终端到端跑通 BentoLM 29M→134M。

核心优势

✓从零实现:每个核心模块都从第一性原理亲手写,不依赖现成框架的高层封装
✓交互式文档:公式、图示与可运行代码结合,边读边跑更容易理解
✓两套配套代码:原理精讲的 recipes 与动手训练的 bento,方便随时对照查阅
✓体系完整:从分词器一路覆盖到分布式训练与后训练对齐
✓面向真问题:官网强调出问题时要能定位根因,而不是只会调 API
✓持续更新:官网写明一次买断后可解锁现有及未来所有课程章节

与同类工具对比

提示词工程类入门课程同样面向大模型学习,但偏应用层与使用方法

入门课教怎么用模型;CookLLM 教怎么造模型,从 Tokenization 一直讲到预训练与 RLHF 对齐

Hugging Face 官方课程开源社区推出的大模型教程,覆盖面广

Hugging Face 课程以使用其生态工具为主线;CookLLM 强调从零构建每个核心模块,并提供中文交互式文档与中文社区

Karpathy 的 nanoGPT 等从零实现教程同样以「从零手写」方式讲大模型的开源教程

nanoGPT 是英文开源项目、偏代码与讲解视频;CookLLM 提供中文体系化课程、六大原理板块与端到端训练主线,并附代码仓库与后续更新

使用方式与技巧

使用方式

  • 网页版课程:https://cookllm.com/
  • 配套代码库(recipes 与 bento)
  • 社区入口:Discord、小红书、Twitter、Email

功能模式

  • 原理精讲(六大板块)
  • 动手训练(从零训练并对我一个小模型)

使用技巧

  • 先把基础板块过一遍再进训练主线,避免卡在概念上
  • 边读文档边跑代码,让公式与实现相互印证
  • 用提交记录与路线图确认更新进度和已完成章节
  • 遇到报错带到社区讨论,比独自硬扛更快

进阶玩法

01提供私有 GitHub 仓库,包含 recipes 与 bento 两套源码
02官网写明一次买断可解锁现有及未来所有章节并享受内容永久免费更新
03素材未提及 API、模型权重发布或云端实验环境

客户端下载渠道

⬇网页版课程:https://cookllm.com/ ⬇配套代码库:cookllm-bento(素材未给出仓库直链) ⬇社区与联系:Twitter、Discord、小红书、Email

常见问题

这门课适合谁?

官网 FAQ 列有该问题,面向想真正理解大模型底层实现的人;具体门槛见官网解答。

没有显卡可以学吗?

官网 FAQ 专门列了这个问题,建议查看官网解答;素材未给出结论。

和市面其他 LLM 教程有什么不同?

官网强调从零实现、交互式文档与配套代码库,重点在原理与工程细节而非调包。

内容会持续更新吗?

官网写明一次买断后解锁现有及未来所有课程章节,并享受后续更新。

价格是多少?

官网定价区显示终身版原价 139 美元、现价 39 美元(以页面实际价格为准)。

// more.info

项目信息

从零训练大语言模型的全栈课程:六大原理板块加端到端动手训练小模型

带你从头训练一个 LLM

AI 模型开发 适合人群:普通用户 / 效率玩家
// 商业项目:在数据 affiliate 字段填入 CPS 推广链接后,按钮自动改跳你的推广链接
← 返回开源宝库

站长熬夜整理 · 开源大礼包

点击一键转存《2329 件副业装备大礼包》,内含分类 Excel 表,找工具不再大海捞针

一键转存《2329 个开源大礼包》
资料整理自公开开源渠道,仅供学习交流使用;如涉及版权问题请联系删除。