TANG / LABBUILD · LEARN · SHIP开始学习
首页/AI/第 4 课

拆开大模型的黑盒 · MODULE 04

Transformer 与基础模型

从 token、embedding 和 attention 出发，理解大模型如何训练与生成，以及上下文、采样和推理成本为何彼此牵制。

进阶24 小时4 个核心主题

WHY IT MATTERS

先用一句白话理解

Attention 像开会时给每个人分配注意力：当前问题不同，应该重点听的人也不同，最后把多方信息按权重汇总。

LEARNING OUTCOMES

学完你能做到什么

01

能解释 tokenizer、embedding、self-attention 与位置编码

02

能区分 Encoder、Decoder、Encoder-Decoder 的任务边界

03

能分析上下文窗口、采样、KV Cache、幻觉与推理成本

CONCEPT DEEP DIVE

把每个核心概念讲透

不要把知识点当作名词列表。下面每一项都要回到真实项目中回答：它解决什么问题，如何验证，以及在哪些条件下会失效。

01CORE CONCEPT

Tokenization、词嵌入与语义空间

先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“实现迷你 Transformer 与交互式注意力可视化器，并比较不同生成参数对质量、延迟和稳定性的影响。”中，回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。

验证方式用固定数据集、基线和可重复实验验证结论：完成“手算一个三 token 的注意力例子”，记录现象、预期、差异和结论。
02CORE CONCEPT

缩放点积注意力、多头注意力与位置表示

先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“实现迷你 Transformer 与交互式注意力可视化器，并比较不同生成参数对质量、延迟和稳定性的影响。”中，回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。

验证方式用固定数据集、基线和可重复实验验证结论：完成“用代码观察温度和 top-p 对输出的影响”，记录现象、预期、差异和结论。
03CORE CONCEPT

预训练、指令跟随、推理模型与生成策略

先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“实现迷你 Transformer 与交互式注意力可视化器，并比较不同生成参数对质量、延迟和稳定性的影响。”中，回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。

验证方式用固定数据集、基线和可重复实验验证结论：完成“为三个业务场景写出模型选型决策记录”，记录现象、预期、差异和结论。
04CORE CONCEPT

上下文预算、缓存、量化与 API/本地模型选型

先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“实现迷你 Transformer 与交互式注意力可视化器，并比较不同生成参数对质量、延迟和稳定性的影响。”中，回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。

验证方式用固定数据集、基线和可重复实验验证结论：完成“手算一个三 token 的注意力例子”，记录现象、预期、差异和结论。

CONCEPT MAP

这一章的学习步骤

1Tokenization、词嵌入与语义空间
2缩放点积注意力、多头注意力与位置表示
3预训练、指令跟随、推理模型与生成策略
4上下文预算、缓存、量化与 API/本地模型选型
STEP 01

手算一个三 token 的注意力例子

STEP 02

用代码观察温度和 top-p 对输出的影响

STEP 03

为三个业务场景写出模型选型决策记录

HANDS-ON PROJECT

动手任务

PROJECT BRIEF

实现迷你 Transformer 与交互式注意力可视化器，并比较不同生成参数对质量、延迟和稳定性的影响。

交付清单

  • ✓可运行的注意力实现
  • ✓Attention 权重交互图
  • ✓模型与生成参数实验报告

MINIMUM RUNNABLE CODE

十行看懂缩放点积注意力

python
import math
import torch

# 三个 token，每个 token 用二维向量表示
x = torch.tensor([[1.0, 0.0], [0.0, 1.0], [1.0, 1.0]])
q = k = v = x
scores = q @ k.T / math.sqrt(x.shape[-1])
weights = torch.softmax(scores, dim=-1)
context = weights @ v

print("attention weights:\n", weights.round(decimals=3))
print("context:\n", context.round(decimals=3))

先让它跑起来，再逐行修改。最有效的学习方式，是观察你的改动如何影响结果。

DELIBERATE PRACTICE

三级练习：从复现到生产

每一级都比上一级少一点提示、多一点约束。只有在不看答案也能完成验收时，知识才真正变成能力。

01
LEVEL 1 · 基础复现

让核心机制第一次跑通

  • 手算一个三 token 的注意力例子
  • 用代码观察温度和 top-p 对输出的影响
  • 为三个业务场景写出模型选型决策记录
02
LEVEL 2 · 独立改造

改变约束，验证你真的理解

  • 不看教程，独立完成：能解释 tokenizer、embedding、self-attention 与位置编码
  • 不看教程，独立完成：能区分 Encoder、Decoder、Encoder-Decoder 的任务边界
  • 不看教程，独立完成：能分析上下文窗口、采样、KV Cache、幻觉与推理成本
03
LEVEL 3 · 生产挑战

把实验变成能交付的工程

  • 可运行的注意力实现
  • Attention 权重交互图
  • 模型与生成参数实验报告
  • 检查数据漂移、权限、安全、延迟、成本与回滚，并把检查结果写进项目复盘。

COMMON PITFALLS

最容易踩的坑

01

把模型生成的流畅文字等同于事实

02

只比较榜单总分，不测试自己的真实任务

03

无限塞上下文，忽略噪声、成本和注意力稀释

SELF CHECK

先回答，再展开参考答案

Q01这一课最核心的业务目标是什么？＋

从 token、embedding 和 attention 出发，理解大模型如何训练与生成，以及上下文、采样和推理成本为何彼此牵制。

Q02如果只能保留三个验收结果，应该保留什么？＋

可运行的注意力实现；Attention 权重交互图；模型与生成参数实验报告

Q03学习过程中最需要主动避免什么？＋

把模型生成的流畅文字等同于事实；只比较榜单总分，不测试自己的真实任务；无限塞上下文，忽略噪声、成本和注意力稀释

Q04怎样证明你不是“看懂了”，而是真的会做？＋

独立完成“实现迷你 Transformer 与交互式注意力可视化器，并比较不同生成参数对质量、延迟和稳定性的影响。”，并用测试、数据或运行结果逐项验收交付清单。

PRODUCTION READINESS

本课完成检查表

全部能打勾，再进入下一课。

  • □目标明确：能解释 tokenizer、embedding、self-attention 与位置编码
  • □核心机制已用最小实验验证：手算一个三 token 的注意力例子
  • □风险已检查：把模型生成的流畅文字等同于事实
  • □风险已检查：只比较榜单总分，不测试自己的真实任务
  • □风险已检查：无限塞上下文，忽略噪声、成本和注意力稀释
  • □交付物可复现：可运行的注意力实现
  • □交付物可复现：Attention 权重交互图
  • □交付物可复现：模型与生成参数实验报告

PRIMARY SOURCES

继续深入的官方资料

Hugging Face 官方 LLM CourseGoogle MLCC：大语言模型导论

课程版本基线：2026 年 7 月。涉及版本号时，以链接中的官方文档为最终依据。