LLMPod

让自有算力，成为业务可用的模型 API

LLMPod 面向自有算力，帮助团队和个人完成模型部署、API 发布与服务运营。

开始使用阅读文档
向下探索 ↓

面向多元业务场景的模型服务

覆盖企业共享、私有化交付与 MaaS 运营，支持本地部署模型与外部 API 的统一接入、服务开放及持续管理。

企业 IT · 平台团队

企业内部共享模型服务

将自有算力上的模型发布为内部 API，供不同业务团队统一调用。

平台集中管理资源与权限，业务团队专注应用开发。

解决方案商 · 项目交付团队

私有化项目交付

在客户环境中完成节点接入、模型部署与 API 发布，交付可持续管理的模型服务。

建立统一的交付流程，便于后续维护与服务管理。

算力运营团队 · 模型服务商

MaaS 按需模型交付

根据租户需求开放指定模型，配置访问权限与调用额度，让不同客户使用各自获授权的模型服务。

按租户统计用量与费用，结合调用日志审查，支撑模型服务的持续运营。

应用开发团队 · 多模型使用者

统一模型 API 网关

将已有模型服务与外部模型 API 接入 LLMPod，也可独立作为 API 网关使用。

统一管理路由、鉴权与配额，无需先部署本地模型。

场景示意

从资源管理，到模型服务运营

在同一平台管理算力、部署、访问与费用，覆盖模型服务的交付和日常运营。

查看平台功能模块

接入计算节点，掌握可用算力

接入自有计算节点，集中查看节点状态、资源用量与算力分布。

支持 NVIDIA GPU 与昇腾 NPU 的节点接入。

集中管理计算节点，查看节点状态、CPU、内存、GPU 与显存用量。LLMPod节点资源节点管理统一纳管全部节点在线计算节点状态CPU内存GPU显存节点 A在线节点 B在线节点 C在线节点状态运行状态在线最近心跳
功能示意

管理模型文件，交付推理服务

支持本地上传与 HuggingFace 导入，统一管理模型版本、部署与服务状态。

适配 vLLM、SGLang、llama.cpp 等推理引擎。

通过本地上传或 HuggingFace 导入模型，从模型列表创建部署，并管理实例的引擎、算力与运行状态。LLMPod模型部署模型管理模型导入本地上传HuggingFace模型名称来源格式Qwen3-32BHuggingFace新建部署DeepSeek-R1本地文件GLM-4.5HuggingFace部署实例运行中模型Qwen3-32B推理引擎计算资源
功能示意

统一模型入口，管理请求路由

统一接入本地模型与外部 API，支持负载均衡、故障切换与会话亲和路由。

同一会话优先路由至同一上游，提升前缀缓存复用。

统一发布模型 API，支持负载均衡和故障切换；会话亲和路由在同优先级内优先匹配已绑定的端点，未命中再按权重选择。LLMPodAPI 网关模型 API负载均衡本地模型外部 API对外模型上游端点权重配置故障切换Qwen3.8-27B7 : 3自动切换DeepSeek-V4.1-Flash5 : 5自动切换模型 A6 : 4自动切换会话亲和路由已匹配会话前缀命中端点
功能示意

按租户开放模型，明确访问边界

隔离租户工作空间，通过角色权限、API Key 与配额管理服务访问。

按租户开放指定模型，配置访问权限与调用额度。

管理租户的模型访问范围与可用余额，通过 API Key 配置授权模型与调用额度。LLMPod租户权限租户管理模型访问全部租户模型访问范围租户名称状态禁用模型可用余额租户 A正常模型 B租户 B正常模型 C租户 C正常模型 AAPI Key 凭证授权模型模型 A调用额度
功能示意

核对服务费用，追溯调用与操作

统计模型用量与费用，审查调用日志，通过操作审计追溯管理行为。

用量统计、费用管理、调用日志与操作审计集中查看。

查看模型调用量与 Token 用量，在调用日志中核对费用，通过操作审计追溯管理行为。LLMPod用量审计调用统计用量统计调用量总 Token成功率模型调用量Token 用量平均延迟Qwen3-32BDeepSeek-R1GLM-4.5日志审查调用日志费用操作审计
功能示意

从底层算力，到上层 AI 应用

连接计算资源、推理引擎与模型服务，
统一承接企业应用、智能助手和 AI 编程。

上层应用

    • Dify
    • RAGFlow
    • 企业知识库
    • 更多

    企业应用

    • OpenClaw
    • Hermes Agent
    • Cherry Studio
    • 更多

    智能助手

    • TRAE
    • OpenCode
    • WorkBuddy
    • 更多

    AI 编程

LLMPOD

平台管理中心

  • 算力资源管理
  • 模型部署编排
  • 多租户服务管理
  • 用量与费用管理
  • 服务运行观测
  • 操作审计

统一模型网关

  • 负载均衡与分流
  • 会话亲和路由
  • 故障切换
  • 限流、配额控制
  • 调用日志追踪
  • 用量计量与计费

模型与算力

本地部署模型

推理引擎

算力硬件

外部模型 API

  • OpenAI
  • DeepSeek
  • Qwen
LLMPod 模型服务生态引擎与硬件按实际部署环境匹配

五步完成模型服务交付

从计算资源接入到模型 API 发布，在同一平台完成部署，并持续查看服务运行状态。

通过节点接入命令注册计算资源，查看节点状态与资源监控。

LLMPOD / CONTROL PLANELLMPod 控制台 · 示意
节点列表 · 注册节点
$ 执行控制台生成的节点接入命令
[NodeAgent] 已连接控制面
[Resources] 已上报资源信息

node-a 已注册 · 在线

CPU、内存、磁盘与加速卡资源统一查看

CLUSTER / ONLINE
CURRENT STEP01 · 接入节点

在自己的环境中部署 LLMPod

平台服务与配套数据库均在容器内运行，无需在宿主机单独安装 LLMPod 及其运行依赖。

Docker 容器化部署

# 脚本按需安装 Docker 与 Compose，并部署 LLMPod 控制面

$curl -fsSL https://llmpod.cn/src/download/install.sh -o install.sh && bash install.sh
安装过程实录
curl -fsSL https://llmpod.cn/src/download/install.sh -o install.sh && bash install.sh◇ LLMPod 安装向导[1/4] 准备运行环境 ✓ 下载 Docker 安装程序 2s │ adding repo from: https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo │ 正在解决依赖关系 │ … │ 安装 5 软件包 (+2 依赖软件包) │ 总下载量：114 M │ Downloading packages: │ 总计 165 kB/s | 114 MB 11:48 │ Running transaction │ 正在安装 : docker-ce-26.1.4-1.el7.x86_64 7/7 │ 完毕！ │ ✔ Docker version 26.1.4, build 5650f9b ✓ 安装 Docker 802s ✓ 启动 Docker 1s ✓ Docker 已安装并启动 ✓ Docker Compose 已就绪 正在检查安装信息… ✓ 获取安装版本 3s安装版本：26.10.21[2/4] 准备安装文件 ✓ 下载 docker-compose.yml 3s ✓ 下载 .env.example 3s ✓ 安装文件和配置已保存[3/4] 下载服务镜像 正在检查镜像站… ✓ 重启 Docker 14s ✓ 下载加速已配置 ✓ 拉取服务镜像 61s[4/4] 启动服务 ✓ 启动服务 46s ✓ 等待管理台就绪（端口 18080） 0s ✓ 等待 API 服务就绪（端口 18090） 5s ✓ 所有服务已就绪安装成功：26.10.21 管理台 http://192.168.1.20:18080 用户名 admin 密码 •••••••••••••••••••••••• 安装目录 /opt/llmpod 配置文件 /opt/llmpod/.env