IOEHM大模型推理一体机（数字人款）

产品介绍：

1. 采用算力卡搭配飞腾D2000主控芯片，打造用于大模型应用场景的一体化、 便携式产品，可将AI大语言模型在边缘侧和端侧进行部署，并提供本地或离线 的计算和存储能力。大模型一体机单机即可部署署通义千问Qwen-72B大模型 ，整机功耗为120W，在针对AI大语言模型的部署中具备高性能、低功耗等优 势，整机小巧便捷，开箱即用。

产品参数

2.机械尺寸：

产品外形尺寸为300（长）×150（宽）×200（高）单位：mm，机械接口示意图如下图 所示。

3．外部接口描述

4. 产品优势：

◼支持SIMT主流并行计算编程模型

◼ 编译器支持CUDA C、Open CL源代码

◼ 图编译优化工具，高效支持 AI1.0/AI2.0模型高效部署

◼ 支持PyTorch框架：推理&训练

◼ 提供语言级、算子级、模型级通用部署工具

◼ 智能视频分析框架 --- DeepWeave（deep stream/triton），插件开发 方式，快速搭建算法pipeline

◼ 支持TGI框架，统一的算法推理服务，方便用户集成

◼ 支持RAG+LLM推理方案，可提供参考设计

5. 支持各种深度神经网络
6. 

6.已适配模型列表

7.核心技术

多模态大模型语义/图像驱动引擎

视频结构化与行人识别技术

跨镜头行人ReID识别

困难场景人脸识别

8.大模型优势

（1）算力消耗小

大模型处理单图而非视频

• 多重算力优化
• 一级：视频抽帧
• 二级：目标检测
• 三级：时域重复
• …
• 

（2）一次分析，多次匹配

9.建设方案——云边结合

10. 智能运维应用场景多模态大模型应用展示

以文本定义算法，一句话定义一个算法

• 摄像机图像质量
• 支持自然语言描述前端故障查找
• 图像花屏
• 黑屏
• 偏色
• 扭曲
• 雪花
• 噪点
• …

以图搜图，万物可搜

• 给什么搜什么
• 支持目标小图搜目标
• 支持场景大图搜场景
• 支持事件图搜事件
• 搜特定目标
• 搜事件场景
• 可搜索就可以布控
• ….