WHY IT MATTERS
先用一句白话理解
训练模型像备考：训练集是平时练习，验证集是模拟考，测试集是最终考试。提前偷看答案，分数再高也没有意义。
LEARNING OUTCOMES
学完你能做到什么
能把模糊需求改写为特征、标签、约束和验收指标
能完成分类、回归、聚类的训练、调参与误差分析
能识别过拟合、数据泄漏、类别不平衡和错误指标
CONCEPT DEEP DIVE
把每个核心概念讲透
不要把知识点当作名词列表。下面每一项都要回到真实项目中回答：它解决什么问题，如何验证，以及在哪些条件下会失效。
监督学习、无监督学习与合理基线
先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“构建客户流失预警系统：预测只是第一步，还要给出业务阈值、误报成本和可解释的干预建议。”中，回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。
数据切分、交叉验证、Pipeline 与特征工程
先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“构建客户流失预警系统：预测只是第一步，还要给出业务阈值、误报成本和可解释的干预建议。”中，回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。
准确率、精确率、召回率、F1、AUC 与回归指标
先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“构建客户流失预警系统：预测只是第一步，还要给出业务阈值、误报成本和可解释的干预建议。”中，回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。
超参数搜索、阈值选择、特征重要性与模型卡
先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“构建客户流失预警系统：预测只是第一步，还要给出业务阈值、误报成本和可解释的干预建议。”中，回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。
CONCEPT MAP
这一章的学习步骤
先实现一个简单基线，再尝试复杂模型
用交叉验证比较至少三类模型
按人群和错误类型完成切片评估
HANDS-ON PROJECT
动手任务
构建客户流失预警系统：预测只是第一步，还要给出业务阈值、误报成本和可解释的干预建议。
交付清单
- ✓无数据泄漏的训练 Pipeline
- ✓模型对比、混淆矩阵和阈值收益表
- ✓包含适用范围与限制的模型卡
MINIMUM RUNNABLE CODE
一个没有预处理泄漏的分类基线
from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42, stratify=y
)
model = make_pipeline(StandardScaler(), LogisticRegression(max_iter=500))
model.fit(X_train, y_train)
print("accuracy:", accuracy_score(y_test, model.predict(X_test)))先让它跑起来，再逐行修改。最有效的学习方式，是观察你的改动如何影响结果。
DELIBERATE PRACTICE
三级练习：从复现到生产
每一级都比上一级少一点提示、多一点约束。只有在不看答案也能完成验收时，知识才真正变成能力。
让核心机制第一次跑通
- 先实现一个简单基线，再尝试复杂模型
- 用交叉验证比较至少三类模型
- 按人群和错误类型完成切片评估
改变约束，验证你真的理解
- 不看教程，独立完成：能把模糊需求改写为特征、标签、约束和验收指标
- 不看教程，独立完成：能完成分类、回归、聚类的训练、调参与误差分析
- 不看教程，独立完成：能识别过拟合、数据泄漏、类别不平衡和错误指标
把实验变成能交付的工程
- 无数据泄漏的训练 Pipeline
- 模型对比、混淆矩阵和阈值收益表
- 包含适用范围与限制的模型卡
- 检查数据漂移、权限、安全、延迟、成本与回滚，并把检查结果写进项目复盘。
COMMON PITFALLS
最容易踩的坑
先看测试集再反复调参，导致测试集失去公正性
只追求准确率，忽略样本不平衡和错误成本
把相关性当成因果关系向业务做承诺
SELF CHECK
先回答，再展开参考答案
Q01这一课最核心的业务目标是什么？＋
学习的不只是算法名称，而是如何定义目标、切分数据、选择指标、发现泄漏，并把模型结果翻译成业务决策。
Q02如果只能保留三个验收结果，应该保留什么？＋
无数据泄漏的训练 Pipeline；模型对比、混淆矩阵和阈值收益表；包含适用范围与限制的模型卡
Q03学习过程中最需要主动避免什么？＋
先看测试集再反复调参，导致测试集失去公正性；只追求准确率，忽略样本不平衡和错误成本；把相关性当成因果关系向业务做承诺
Q04怎样证明你不是“看懂了”，而是真的会做？＋
独立完成“构建客户流失预警系统：预测只是第一步，还要给出业务阈值、误报成本和可解释的干预建议。”，并用测试、数据或运行结果逐项验收交付清单。
本课完成检查表
全部能打勾，再进入下一课。
- □目标明确：能把模糊需求改写为特征、标签、约束和验收指标
- □核心机制已用最小实验验证：先实现一个简单基线，再尝试复杂模型
- □风险已检查：先看测试集再反复调参，导致测试集失去公正性
- □风险已检查：只追求准确率，忽略样本不平衡和错误成本
- □风险已检查：把相关性当成因果关系向业务做承诺
- □交付物可复现：无数据泄漏的训练 Pipeline
- □交付物可复现：模型对比、混淆矩阵和阈值收益表
- □交付物可复现：包含适用范围与限制的模型卡
PRIMARY SOURCES
继续深入的官方资料
课程版本基线：2026 年 7 月。涉及版本号时，以链接中的官方文档为最终依据。