生产部署与 AI 平台工程 · AI 知识库

WHY IT MATTERS

先用一句白话理解

演示像在厨房做一道好菜，生产系统像经营连锁餐厅：还要保证高峰期出餐、原料追溯、卫生标准和出问题时快速止损。

LEARNING OUTCOMES

学完你能做到什么

能设计带认证、校验、超时和流式输出的推理 API

能容器化服务并完成持续集成、灰度、回滚和容量规划

能监控质量、漂移、延迟、错误率、吞吐和单次任务成本

CONCEPT DEEP DIVE

把每个核心概念讲透

不要把知识点当作名词列表。下面每一项都要回到真实项目中回答：它解决什么问题，如何验证，以及在哪些条件下会失效。

01CORE CONCEPT

FastAPI、异步、SSE、鉴权、限流与任务队列

先明确数据来源、输入输出、评价指标和失败样本。把这个概念放回“将企业智能知识与研发助理部署到云端：具备持续交付、可观测面板、负载测试、故障演练、回滚和成本预算。”中，回答它解决了什么问题、依赖哪些输入、会在哪些边界失效。

02CORE CONCEPT

Docker、镜像、配置、密钥和供应链安全

03CORE CONCEPT

批处理、缓存、量化、GPU 利用率与推理服务

04CORE CONCEPT

实验追踪、数据/模型版本、Registry 与可复现发布

05CORE CONCEPT

Tracing、SLO、漂移、灰度、回滚、压测和 FinOps

CONCEPT MAP

这一章的学习步骤

1FastAPI、异步、SSE、鉴权、限流与任务队列

2Docker、镜像、配置、密钥和供应链安全

3批处理、缓存、量化、GPU 利用率与推理服务

4实验追踪、数据/模型版本、Registry 与可复现发布

5Tracing、SLO、漂移、灰度、回滚、压测和 FinOps

STEP 01

把模型封装为带健康检查的 API

STEP 02

用容器在本地复现生产环境并完成压测

STEP 03

模拟错误版本发布，验证告警、灰度停止和回滚

HANDS-ON PROJECT

动手任务

PROJECT BRIEF

将企业智能知识与研发助理部署到云端：具备持续交付、可观测面板、负载测试、故障演练、回滚和成本预算。

交付清单

✓容器镜像、部署配置和持续交付流水线
✓质量/延迟/错误率/成本 SLO 看板
✓压测报告、运行手册和回滚演练记录

MINIMUM RUNNABLE CODE

一个带输入校验和健康检查的推理 API

python

from fastapi import FastAPI
from pydantic import BaseModel, Field

app = FastAPI()

class PredictRequest(BaseModel):
    text: str = Field(min_length=1, max_length=500)

@app.get("/health")
def health():
    return {"status": "ok"}

@app.post("/predict")
def predict(request: PredictRequest):
    # 实际项目中替换为模型或智能体调用
    return {"label": "positive", "characters": len(request.text)}

# 安装后运行：fastapi dev main.py

先让它跑起来，再逐行修改。最有效的学习方式，是观察你的改动如何影响结果。

DELIBERATE PRACTICE

三级练习：从复现到生产

每一级都比上一级少一点提示、多一点约束。只有在不看答案也能完成验收时，知识才真正变成能力。

LEVEL 1 · 基础复现

让核心机制第一次跑通

把模型封装为带健康检查的 API
用容器在本地复现生产环境并完成压测
模拟错误版本发布，验证告警、灰度停止和回滚

LEVEL 2 · 独立改造

改变约束，验证你真的理解

不看教程，独立完成：能设计带认证、校验、超时和流式输出的推理 API
不看教程，独立完成：能容器化服务并完成持续集成、灰度、回滚和容量规划
不看教程，独立完成：能监控质量、漂移、延迟、错误率、吞吐和单次任务成本

LEVEL 3 · 生产挑战

把实验变成能交付的工程

容器镜像、部署配置和持续交付流水线
质量/延迟/错误率/成本 SLO 看板
压测报告、运行手册和回滚演练记录
检查数据漂移、权限、安全、延迟、成本与回滚，并把检查结果写进项目复盘。

COMMON PITFALLS

最容易踩的坑

只监控服务器存活，不监控回答质量和工具成功率

把密钥写入镜像、日志或前端代码

没有灰度和回滚方案，一次发布影响全部用户

SELF CHECK

先回答，再展开参考答案

Q01这一课最核心的业务目标是什么？＋

把模型封装成服务，容器化并部署到云端，补齐实验追踪、监控、压测、灰度、回滚、漂移和成本治理。

Q02如果只能保留三个验收结果，应该保留什么？＋

容器镜像、部署配置和持续交付流水线；质量/延迟/错误率/成本 SLO 看板；压测报告、运行手册和回滚演练记录

Q03学习过程中最需要主动避免什么？＋

只监控服务器存活，不监控回答质量和工具成功率；把密钥写入镜像、日志或前端代码；没有灰度和回滚方案，一次发布影响全部用户

Q04怎样证明你不是“看懂了”，而是真的会做？＋

独立完成“将企业智能知识与研发助理部署到云端：具备持续交付、可观测面板、负载测试、故障演练、回滚和成本预算。”，并用测试、数据或运行结果逐项验收交付清单。

PRODUCTION READINESS

本课完成检查表

全部能打勾，再进入下一课。

□目标明确：能设计带认证、校验、超时和流式输出的推理 API
□核心机制已用最小实验验证：把模型封装为带健康检查的 API
□风险已检查：只监控服务器存活，不监控回答质量和工具成功率
□风险已检查：把密钥写入镜像、日志或前端代码
□风险已检查：没有灰度和回滚方案，一次发布影响全部用户
□交付物可复现：容器镜像、部署配置和持续交付流水线
□交付物可复现：质量/延迟/错误率/成本 SLO 看板
□交付物可复现：压测报告、运行手册和回滚演练记录

PRIMARY SOURCES

继续深入的官方资料

FastAPI 官方 Tutorial Docker 官方 Get Started MLflow 官方 Experiment Tracking OpenAI Production Best Practices

课程版本基线：2026 年 7 月。涉及版本号时，以链接中的官方文档为最终依据。