模型蒸馏是用一个小模型（学生）去模仿大模型（教师）的输出分布，从而把大模型”在某个任务上”的判断能力迁移到小模型上的训练方法；模型量化是把同一份模型权重从 FP16/FP32 直接压到 INT8/INT4 的精度转换技术，不改变模型结构。前者改的是”模型是谁”，后者改的是”模型怎么存”。两者经常被混着提，但目标、产物、代价完全不同。下文从机制、对比、落地组合方式一次性拆清。
一、蒸馏与量化要解决的不同问题
AI 应用的部署成本压力通常落在两端：一端是延迟与算力（响应必须够快），一端是内存与硬件（要在边端/笔记本/单卡 GPU 上跑起来）。蒸馏与量化各自只解决其中一端。
- 模型蒸馏 解决”算力太贵”：用一个完整的训练流程，让 1B~3B 的小模型在特定任务上逼近 70B 教师模型的输出。模型架构变了，参数变少，每请求的浮点运算量直接降一个量级。
- 模型量化 解决”显存太紧”：模型不动，把权重从 FP16 转成 INT8/INT4，模型大小立刻砍半到 1/4。同一台机器能装下更多并发。
理解这两件事的目标差异，是后面所有选型判断的起点。
二、两种技术的横向对比
| 维度 | 模型蒸馏（Distillation） | 模型量化（Quantization） |
|---|---|---|
| 改的是什么 | 模型架构（更小的 student） | 权重的数值精度（同模型） |
| 典型压缩幅度 | 10×~100× | 2×~4×（FP16→INT8 砍半，→INT4 砍到 1/4） |
| 是否需要训练 | 需要完整训练 | 多数情况不需要（PTQ），QAT/AWQ 需少量校准 |
| 推理加速 | 大幅（参数少） | 中等（取决于硬件对低精度算子的支持） |
| 精度损失 | 任务内可控，5% 以内常见 | 1%~5%，低于 4-bit 后明显恶化 |
| 任务适用范围 | 偏向单一任务，跨任务泛化会下降 | 保留通用能力，可服务多任务 |
| 训练/校准成本 | 周到月级 | 小时到天级 |
| 典型工具 | DistilLabs、TextBrewer、PD-pretrain | GPTQ、AWQ、GGUF、bitsandbytes |
这张表里有两条最关键的事实：蒸馏改的是”模型是谁”，量化改的是”模型怎么存”；蒸馏偏向专项优化，量化偏向通用无损。
三、蒸馏的三条主流路径
2015 年 Hinton 等人提出 Knowledge Distillation 后，这条路线在 LLM 时代衍生出三条主流变体：
- Logit 蒸馏（输出分布对齐）：student 拟合 teacher 输出的完整 softmax 分布，包含非目标 token 的概率。Hinton 原论文方法，是最成熟的一类。
- Feature 蒸馏（中间层对齐）：student 不只学最终输出，还拟合 teacher 中间隐层的表示。这类方法在 LLM 上能进一步保住复杂推理能力。
- Response/Instruction 蒸馏（行为克隆）：用 teacher 对指令的回复作为训练数据，student 做监督学习。DeepSeek-R1 Distill、Phi-3 mini 都用此路径，2025 年起成为通用模型小型化的主流。
工程上还有一类常见变体叫”合成数据蒸馏”：用大模型自己产出大量领域内的问答对，再喂给小模型。2025-2026 年这条路径是 SLM（小型语言模型）训练的事实标准。
四、量化的四种典型策略
量化是”不改架构只改精度”，按介入阶段分四类：
| 方法 | 介入阶段 | 精度损失 | 典型场景 |
|---|---|---|---|
| 训练后量化（PTQ） | 训练完成后 | 略大 | 已有模型快速压缩 |
| 量化感知训练（QAT） | 训练时模拟量化 | 很小 | 极端低位宽（INT4 及以下） |
| 激活感知量化（AWQ） | 训练后 | 极小，常接近无损 | INT4 部署 |
| 混合精度（Mixed Precision） | 推理时 | 极小 | 关键层保留 FP16，其他层 INT8 |
硬件侧有约束：INT8 几乎所有现代 GPU 都支持；INT4 推理需要新代次硬件（H100、RTX 40 系列、苹果 M 系列统一内存）才有专门算子，否则只能走 kernel 模拟，吞吐优势会缩水。
五、组合使用：先蒸馏再量化
生产里最常被验证的链路是”先蒸馏后量化”：把 70B 教师蒸馏成 3B student，再把 3B student 量化到 4-bit，最终模型相比原版缩小 50×~100×，在很多任务上能保住 80%~90% 的教师质量。Phi-3 Mini（3.8B）是这条路径的典型案例——它在被蒸馏后量化为 4-bit 部署，团队公开数据称在多数任务上达到了 GPT-3.5 同等水平、运行于消费级 GPU 之上。
下面给出一段用 Hugging Face transformers + optimum 量化已蒸馏模型的最小化代码：
from transformers import AutoModelForCausalLM, AutoTokenizer
from optimum.intel import INCQuantizer
# 1. 加载已蒸馏好的 student 模型
model = AutoModelForCausalLM.from_pretrained("TinyLlama/TinyLlama-1.1B-Chat-v1.0")
tokenizer = AutoTokenizer.from_pretrained("TinyLlama/TinyLlama-1.1B-Chat-v1.0")
# 2. 用 optimum 对已蒸馏模型做 INT8 动态量化
quantizer = INCQuantizer.from_pretrained(model)
quantizer.quantize(approach="dynamic")
quantizer.save_pretrained("tinyllama-int8")
# 3. 部署时加载量化后模型，内存约降一半效果上，单张消费级 GPU（24GB）原本只能跑 FP16 的 7B 模型，加上”先蒸馏到 1.1B、再 INT8 量化”，腾出 5× 以上的显存余量给长上下文或多并发。
六、选型与坑
三条经验法则可作为选型起点：
- 业务范围窄、量级大、要在边端/低成本机器跑：先做任务级蒸馏，再按需量化；
- 业务范围广、要保留通用能力、模型来自开源权重：直接做 PTQ 或 AWQ 量化，省训练成本；
- 部署硬件支持 INT4 + 模型在专项任务上要求极限压缩：先蒸馏专项 student，再 INT4 量化。
容易踩的坑集中在三处：把通用模型量化到 4-bit 后丢掉的不是平均分，而是长尾推理能力；蒸馏时只用真实标签不用 teacher 软标签，会损失”暗知识”；AWQ/QAT 在边端设备上没有 kernel 支持，看似量化了实际并未加速。
到这里，蒸馏与量化的边界就清楚了：蒸馏换”小一号的模型”，量化换”小一号的存储”；前者是训练投资，后者是工程优化；用对顺序是”先蒸馏再量化”，用错顺序会让 4-bit student 退化严重。
常见问题（FAQ）
Q1：蒸馏和量化能同时用吗？
能，且推荐。生产部署常见路径是先蒸馏得到小模型，再对小模型做量化，最终压缩比可达 50×~100×。
Q2：蒸馏后模型还能做别的任务吗？
会下降。蒸馏把学生模型压向单一任务分布，跨任务泛化能力会弱于教师；做通用任务更建议走量化路线。
Q3：INT4 量化一定比 INT8 快吗？
不一定。需要硬件原生 INT4 算子才显著；老 GPU 上 INT4 反而可能变慢，需先做吞吐基准测试。
