后台管的是运营链路,不是模型推理本身。正式后台用 Java 1.8 + MySQL 5.7 实现(JDK 自带 HttpServer,零第三方 HTTP/JSON 依赖)。下游真实调用走 LiteLLM 网关(4000 端口),本后台负责谁可以调、能调哪些模型、按什么价、记多少账。
| BOSS 问的缺口 | 后台位置 | 配套文档 |
|---|---|---|
| 后台呢 | 本页整站(server.py + admin.html) | docs/01_运营后台使用说明.md |
| 用户怎么注册 | 「企业注册与审核」→ 提交申请、审核、代客开户 | docs/03_下游企业接入指南.md 第 1 节 |
| 我怎么接入模型 | 「接入模型」→ 填厂商参数、启用、导出配置片段 | docs/02_接入模型操作手册.md |
| 动漫企业怎么接我的接口 | 「下游接入指南」→ 自动生成带 Key 的 SDK 示例 | docs/03_下游企业接入指南.md 全文 |
下游是动漫企业(B2B),所以「注册」不是公开自助注册,而是企业开户 + 人工审核。下表第一列是客户状态;管理员审核通过后才能签发密钥。
| ID | 企业全称 | 联系人 | 场景 | 阶段 | 状态 | 操作 |
|---|
| ID | 企业 | 密钥 | 原额度 | 申请额度 | 理由 | 状态 | 操作 |
|---|
客户拿到的是本平台签发的 Key,不是任何上游厂商原 Key。一个客户一个环境一个 Key,配模型白名单、预算上限与有效期。
| ID | 前缀 | 客户 | 白名单 | 预算 | 有效期至 | 状态 | 操作 |
|---|
签约一家、启用一条。这里填的是厂商控制台确认过的真实参数,保存后可导出 YAML 片段,粘进 litellm_config.yaml 并重启网关。签约前所有真实模型默认停用,只有 demo-echo 可用。
| 别名 | 厂商 | 上游 Base URL | model ID | Key 变量 | 来源 | 状态 |
|---|
调价只追加新版本,历史版本禁止改、禁止删(数据库触发器兜底);历史单据永远引用写入时冻结的版本号,金额不回改。
| 版本 | 模型 | 时段 | 输入 | 输出 | 缓存 | 官方输入 | 折扣 | 生效时刻 |
|---|
账单按客户汇总,逐笔对账按冻结的价格版本独立重算,差额必须为 0。技术验证阶段的客户用量照记、账单不计收。
| 企业 | 阶段 | 调用数 | 用量参考价值 | 应收金额 |
|---|
| 请求号 | 模型 / 实发 | 状态 | 台账 | 重算 | 差额 | 计费 |
|---|
| 请求号 | 模型 | 输入 | 输出 | 缓存 | 金额 | 状态 | 时间 |
|---|
| 时间 | 主体 | 动作 | 对象 | 详情 | IP |
|---|
不接上游也能验证完整闭环:拿一个已签发的 Key 调一次,后台会校验白名单与预算、按当前价格版本算钱、写台账、进账单、进对账。这是沙箱,不是生产网关;真实调用走 LiteLLM 4000 端口。
/key/generate 是两套。档 1 演示用沙箱即可;生产环境要在网关签发 Key 后,把用量回调写进同一张 usage_log 表,不能两套账。这一页生成的代码可以直接发给客户。把客户刚拿到的 Key 粘进去,示例会自动带上,不用手工改。
商务对接 → 提交企业全称、联系人、用途 → 签署书面试用协议 → 管理员审核 → 签发虚拟 Key。技术验证阶段不开放公开注册、不收钱;取得许可后切换为正式商用,开放自助开户与在线充值。
每笔调用都能拿到 request_id;客户可导出调用明细,按门户公示的官方牌价自行复算。网关展示层金额不作账单依据,以人民币价格快照的独立重算为准。
可直接发给客户的完整版见 docs/03_下游企业接入指南.md,含错误码、限流、幂等、回调与合规条款。