AIBOX 通用方案

7.1.3. AIBOX 通用方案#

一、简介#

AIBOX（边缘 AI 盒子）是多路视频流分析场景中最常见的产品形态之一：一台小型边缘设备接入多路 IP 摄像头，在本地完成拉流、硬件解码、NPU 推理、目标跟踪、OSD 叠加、编码转发的完整链路，再把带框视频流或结构化结果交给上层业务平台。

基于 AXERA 芯片构建 AIBOX 具备以下优势：

  • 多路并发：AX650 / AX8850 系列提供高密度视频解码与 NPU 算力，单芯片即可承载多路视频的解码 + 检测 + 编码；AX620E 系列（AX630C / AX620Q）可覆盖 1~2 路 1080p 的轻量场景。

  • 形态灵活：既支持板端 SoC 方案（MSP SDK），也支持以 AXCL PCIe 算力卡形式插入 x86_64 / aarch64 主机，把存量服务器、工控机升级为 AI 盒子。

  • 全硬件加速：解码（VDEC）、图像处理（IVPS）、推理（NPU）、编码（VENC）全部由专用硬件承接，CPU 只负责业务调度。

  • 软件开箱即用：官方开源中间件 AX-Video SDK + AX-Pipeline 已把整条链路封装好，通过 JSON 配置即可跑起多路端到端 pipeline，算法以插件形式接入。

单路典型链路如下（多路 pipeline 并行运行）：

        flowchart LR
    CAM["IP 摄像头<br/>RTSP / 文件"] --> DEMUX["Demux"] --> VDEC["VDEC<br/>硬件解码"] --> NPU["NPU 推理<br/>检测插件"]
    NPU --> OSD["ByteTrack 跟踪<br/>OSD 画框"] --> VENC["VENC<br/>硬件编码"] --> OUT["RTSP 推流 / MP4<br/>结构化结果上报"]

二、方案组成#

方案的软件底座是两个开源流媒体中间件，详细介绍见 高效开发中间件 章节：

组件

角色

仓库

AX-Video SDK

视频能力封装库：编解码、JPEG、图像处理（crop / resize / csc）、Pipeline（demux / mux / OSD），隔离 AX650 与 AX620E 系列差异，以单个动态库 libax_video_sdk.so 交付

AXERA-TECH/ax-video-sdk

AX-Pipeline

基于 AX-Video SDK 的多路端到端 AI 流水线运行器：demux → decode → (npu + osd + tracking) → N × (encode → mux)，JSON 配置驱动，支持 HTTP API 动态编排

AXERA-TECH/ax-pipeline

基于 AX-Pipeline 搭建 AIBOX 时，业务侧通常只需要做两件事：

  1. 写配置：在 JSON 中声明每路 pipeline 的输入流地址、模型插件、推理限速（npu_max_fps）、跟踪与输出方式（参考 configs/example.json），也可通过 HTTP API 在运行时动态增删 pipeline。

  2. 接算法：检测 / 分类等模型以 C ABI 插件（.so）形式接入，内置 YOLOv5 / YOLOv8 / Helmet 等参考插件；支持 inproc（低延迟）与 process（崩溃隔离）两种运行模式，并可在插件内复用 ByteTrack 搭建「检测 → 跟踪 → 分类」多级模型链路。

三、适用场景#

场景

典型需求

方案收益

视频流分析盒子 / 边缘 AI 网关

接入既有 IP 摄像头，本地完成检测告警，输出带框视频与结构化事件

多路硬解 + NPU 插件化推理，免自研流媒体底座

存量 NVR / 服务器智能化改造

不更换整机，为 x86 / ARM 主机补充 AI 分析能力

AXCL 算力卡与板端共用同一套 AX-Pipeline 软件栈，支持单进程多卡

行业算法快速落地

自研模型接入真实多路视频流，验证端侧表现

算法只需实现插件接口，取流、编排、跟踪、OSD 均由中间件提供