东方瑞通 · FDE

算力路线、量化取舍与「先 RAG 后微调」

算力按合规可得性分层选（信创昇腾默认），量化按显存与精度定档（生产默认 FP8），微调走先 RAG 后微调、默认 LoRA。

考点精讲

第 241 页四路线：国产信创（昇腾 910C，合规最强）、性价比（RTX 4090/5090）、吞吐（MI300X）、旗舰参照（B300 禁运）；涉密走全私有化一体机、一般走私有化核心加云 API 补充。第 242 页给量化换算：每 10 亿参数 FP16 约 2GB、FP8 约 1GB、INT4 约 0.5GB，700B 分别是 140／70／35GB；定档三步是显存够不够、精度敏不敏感、必须评测，生产默认 FP8。第 243 页引擎：vLLM 生产默认、MindIE 走昇腾。第 246 页给先 RAG 后微调判断清单。第 247 页给 LoRA、QLoRA、全参，企业默认量化基座加 LoRA。第 249 页给治理 Gate 七项。
前后置引导：前置读「私有化部署：三条合规红线与部署四形态」页：先有合规约束，再选硬件与精度。；后置读「Delta 生产化：五个关键转换与四类假设核验」页：把模型能力接进客户真实业务。

记忆技巧

算力记「信创昇腾、性价比 4090、吞吐 MI300X」
量化记「2G／1G／0.5G 每十亿参数」
微调记「先 RAG 后微调、默认 LoRA」。

常见误区

误区：把全参 SFT 当企业默认路径。第 247 页明确企业默认是量化基座加 LoRA/QLoRA，全参主要在上游厂商。
误区：为了省显存直接上 INT4。第 242 页要求必须评测定档，低于验收线就升一档，生产默认 FP8。
误区：把验证集加进训练集提升效果。第 249 页点名这是微调项目最常见的自我欺骗，等于自己出题自己考。

真题思路

【示例】 按讲义的量化定档原则，生产环境默认应选哪一档？
FP16，精度最高　FP8，损失小且显存减半，按需评测定档　INT4，显存最省　由模型自行选择，不需要评测
答案：B
解析：第 242 页明确三个定档问题与结论：生产默认 FP8、INT4 慎用且必须评测定档。A 作为评测对照基线可以，但不是生产默认；C 与「INT4 慎用」冲突；D 与「必须评测定档」相反。

常见问题

Q：700B 模型在 FP16、FP8、INT4 下各需多大显存？

A：FP16 约 140GB（需至少 2 张 80GB 卡）、FP8 约 70GB（至少 1 张）、INT4 约 35GB（单卡可装）。（解析：第 242 页按每 10 亿参数 2GB／1GB／0.5GB 换算给出该示例，并给出总显存公式：权重加 KV cache 加激活余量。）

Q：为什么说微调是「最后一公里」？

A：因为事实与知识类问题 RAG 就能解决且有溯源优势，微调用来解决行为、格式、风格与私有协议这类收尾问题。（解析：第 246 页给对比表与判断清单：先试过更简单的层吗、是行为格式类问题吗、数据治理 Gate 过关吗、有固定评测集吗、能接受回滚成本吗——缺一项就回去。）

Q：数据治理 Gate 为什么是进微调前的第一关？

A：因为没有授权、脱敏与泄漏检查，微调会带来合规风险与被污染的评测数字。（解析：第 249 页给七项检查，其中「泄漏检查」明确要求评测集不得进训练语料，否则评测数字全部失真。）

相关知识

私有化部署：三条合规红线与部署四形态八项生产准入 Gate、现场变化与客户接管撤出 RAG 核心链路：开卷问答与三步原理

教材出处：第13章私有化部署与模型微调算力路线、量化取舍与「先 RAG 后微调」

AI 助教

让 AI 助教带你深入学习，把你卡住的地方直接问它

随时为您答疑解惑