本地部署的第一步不是买卡，而是评估并发。日常使用量、峰值并发、单次请求的平均长度，决定了显存与推理框架的选择。很多项目在采购阶段就把预算花在了超出实际需要的硬件上。
先小后大，先跑通再扩容
通用问答与结构化抽取对模型的要求并不相同。先用较小模型验证流程是否跑通，再根据实际效果决定是否需要更大参数量的模型，通常比一上来就上大模型更划算。
在垂直场景里，实际可用性往往取决于知识整理与检索策略，而不只是参数量。先用真实问题测试小模型的命中情况，再决定升级路径。
推理服务的运维要提前规划
显存监控、请求排队、异常重试、版本回滚，这些都是上线后才会暴露的问题。建议在设计阶段就把监控接口与日志留痕预留出来，避免上线后临时补。
- 显存与队列长度监控，设置阈值告警
- 请求失败的重试与降级策略
- 模型版本灰度与回滚流程
- 使用日志留痕，便于审计与优化
混合部署也值得考虑
如果数据敏感度不高，可以采用混合方案：敏感数据走本地模型，通用能力调用外部服务，在成本与合规之间取得平衡。具体边界建议在诊断阶段和业务、法务一起划清。
