feat: 完成 issue #44 ④ 本地 70B 模型接入与推理封装

This commit is contained in:
2026-08-05 01:56:59 +08:00
parent f5d2294ee4
commit 169492a6db
4 changed files with 273 additions and 0 deletions
@@ -0,0 +1,18 @@
# -*- coding: utf-8 -*-
# 模板「本地 70B 推理后端」配置资产示例:ti-cl4(Template-Ti 一期)。
#
# 说明(issue #44 / PRD 5.4「④ LLM 网关 + RAG」):
# - 本地 70B(vLLM/TGI 等 OpenAI 兼容服务)承载敏感/核心内容,数据不出厂;
# - endpoint 为空时进入 dry-run 占位模式(联调/演示);
# - 切换/新增本地推理服务只改本文件,业务代码零改动。
template: ti-cl4
version: 1.0.0
local70b:
# 本地推理服务地址(OpenAI 兼容;空 = dry-run)
endpoint: "http://10.20.0.30:8000/v1"
model: "iaop-local-70b"
timeout_seconds: 60
max_tokens: 1024
temperature: 0.1
echo_context: true # 是否在输出回显 RAG 来源引用(溯源)