产品介绍
大模型主机 M 是面向中大型项目的 AI 中台算力核心，提供 4卡与8卡两个子系列。4卡款覆盖中型业务并发，8卡款满足高并发场景，均支持 2B~32B 多模型并行复审，统一调度算法与数据，打破孤岛、保护既有投资。
模型规模 2~32B
多模型并行
复审 ≤512~1000路
实时 ≤128~256 路
4卡/8卡 GPU
可选
单请求 ≤3秒
AI 中台核心
核心优势
中台级算力
多核处理器加 4卡/8卡 高性能 GPU 可选，2B~32B 模型并行，作为 AI 中台核心节点统一调度算法。
两档灵活选型
4卡款满足中型并发，8卡款支撑高并发场景，按业务规模按需选择、平滑扩展。
平台对接
标准化接口接入既有安防与业务平台，打破数据孤岛、保护既有投资。
算法工厂
Prompts 零样本创建加模型微调双路径，复杂业务逻辑快速落地。
产品参数
| 产品型号 | 大模型主机 M（4卡） | 大模型主机 M（8卡） |
|---|---|---|
| 产品定位 | 中型业务并发 / AI 中台节点 | 高并发业务场景 / AI 中台核心节点 |
| CPU | 高性能多核处理器 ×2 | 高性能多核处理器 ×2 |
| GPU 算力配置 | 4× 高性能 GPU | 8× 高性能 GPU |
| 模型规模 | 2B~32B | 2B~32B |
| 大模型并发能力（复审 / 实时） | 复审 ≤512 路 / 实时 ≤128 路 | 复审 ≤1000 路 / 实时 ≤256 路 |
| 单请求响应 | ≤3 秒 | ≤3 秒 |
| 网络接口 | 双 10GE 光口 + 千兆管理口 | 四 10GE 光口 + 千兆管理口 |
| 服务支持 | 原厂 3 年质保 · 7×24 技术支持 | 原厂 3 年质保 · 7×24 技术支持 |
| 预装软件环境 | Ubuntu + 主流深度学习框架 | Ubuntu + 主流深度学习框架 |
| 部署形态 | 标准 2U 机架式 | 标准 4U 机架式 |
产品定位
- 大模型主机 M（4卡）
- 中型业务并发 / AI 中台节点
- 大模型主机 M（8卡）
- 高并发业务场景 / AI 中台核心节点
CPU
- 大模型主机 M（4卡）
- 高性能多核处理器 ×2
- 大模型主机 M（8卡）
- 高性能多核处理器 ×2
GPU 算力配置
- 大模型主机 M（4卡）
- 4× 高性能 GPU
- 大模型主机 M（8卡）
- 8× 高性能 GPU
模型规模
- 大模型主机 M（4卡）
- 2B~32B
- 大模型主机 M（8卡）
- 2B~32B
大模型并发能力（复审 / 实时）
- 大模型主机 M（4卡）
- 复审 ≤512 路 / 实时 ≤128 路
- 大模型主机 M（8卡）
- 复审 ≤1000 路 / 实时 ≤256 路
单请求响应
- 大模型主机 M（4卡）
- ≤3 秒
- 大模型主机 M（8卡）
- ≤3 秒
网络接口
- 大模型主机 M（4卡）
- 双 10GE 光口 + 千兆管理口
- 大模型主机 M（8卡）
- 四 10GE 光口 + 千兆管理口
服务支持
- 大模型主机 M（4卡）
- 原厂 3 年质保 · 7×24 技术支持
- 大模型主机 M（8卡）
- 原厂 3 年质保 · 7×24 技术支持
预装软件环境
- 大模型主机 M（4卡）
- Ubuntu + 主流深度学习框架
- 大模型主机 M（8卡）
- Ubuntu + 主流深度学习框架
部署形态
- 大模型主机 M（4卡）
- 标准 2U 机架式
- 大模型主机 M（8卡）
- 标准 4U 机架式
注：表中并发路数为建议基准，实际性能视算法复杂度、视频分辨率与点位规模评估；大模型实时检测按每算法 >5 秒一帧设计。
