# -*- coding: utf-8 -*- # 模板「推理后端适配层」配置资产示例:ti-cl4(氯化车间/海绵钛,Template-Ti 一期)。 # # 说明: # - 这是「推理后端选择」配置点(PRD 5.6 ⑥ 部署底座): # 切换后端(NVIDIA 5090 GPU ↔ 华为昇腾 NPU)**只改本文件 backend 字段**, # 业务代码零改动(统一走 InferenceBackend 接口); # - backend: gpu —— NVIDIA 5090(Triton/ONNX,vLLM/Triton OpenAI 兼容接口) # npu —— 华为昇腾(ACL/CANN,MindIE/onnxruntime-ascend) # - endpoint 为空时进入 dry-run 模式(适配层就绪,便于离线验证/联调); # - 该配置由 Helm 渲染注入(deploy/k8s/helm/iaop/values.yaml -> ConfigMap)。 template: ti-cl4 version: 1.0.0 # ---- 推理后端选择(切换后端只改这一处) ---- backend: gpu # gpu | npu inference: # 与 Helm values.inference 保持同构,便于一键部署时直接覆盖 model: iaop-ti-cl4-v1 endpoint: http://iaop-inference.iaop.svc.cluster.local:8000/v1 timeout_seconds: 60 runtime: vllm # gpu: vllm|triton;npu: mindie|onnx-ascend device: nvidia-5090 # gpu: nvidia-5090;npu: ascend-310p|ascend-910b cann_version: "" # npu: CANN 工具链版本(如 8.0),gpu 忽略 max_tokens: 1024 temperature: 0.1 # ---- 资源配额(Helm 部署时以此为默认值) ---- resources: requests: cpu: "2" memory: 8Gi limits: cpu: "8" memory: 32Gi # ---- 灰度发布策略(ArgoCD 滚动发布参数,PRD 5.6 配置点) ---- rollingUpdate: maxUnavailable: 0 maxSurge: 1