feat: 完成 issue #44 ④ 本地 70B 模型接入与推理封装
This commit is contained in:
@@ -0,0 +1,18 @@
|
||||
# -*- coding: utf-8 -*-
|
||||
# 模板「本地 70B 推理后端」配置资产示例:ti-cl4(Template-Ti 一期)。
|
||||
#
|
||||
# 说明(issue #44 / PRD 5.4「④ LLM 网关 + RAG」):
|
||||
# - 本地 70B(vLLM/TGI 等 OpenAI 兼容服务)承载敏感/核心内容,数据不出厂;
|
||||
# - endpoint 为空时进入 dry-run 占位模式(联调/演示);
|
||||
# - 切换/新增本地推理服务只改本文件,业务代码零改动。
|
||||
template: ti-cl4
|
||||
version: 1.0.0
|
||||
|
||||
local70b:
|
||||
# 本地推理服务地址(OpenAI 兼容;空 = dry-run)
|
||||
endpoint: "http://10.20.0.30:8000/v1"
|
||||
model: "iaop-local-70b"
|
||||
timeout_seconds: 60
|
||||
max_tokens: 1024
|
||||
temperature: 0.1
|
||||
echo_context: true # 是否在输出回显 RAG 来源引用(溯源)
|
||||
Reference in New Issue
Block a user