数据散:素材在电脑,标注在表格
图片靠文件夹、标注靠 Excel、版本靠文件名。换一个人接手,等于从头再来。
- 统一数据集工作区,图片与标注一处管理
- YOLO 压缩包一键导入,自动解析与统计
- 标签体系、训练/验证/测试集自动划分
一个平台完成模型生产,一块板卡完成现场落地。
AIMC 把 AI 质检的门槛,从算法团队降到一线工程师。
数据集、标注、训练、RKNN 导出与模型商店在同一浏览器内闭环;板卡端以数据流为核心,实时推理、规则联动、本地存储与 OTA 全部内置。不依赖外网,不绑定账号,开箱即可上线。
算法 Demo 与稳定产线之间,隔着数据、工程与运维三座山。AIMC 不是再做一个训练框架,而是把整条链路做成可交付的产品。
图片靠文件夹、标注靠 Excel、版本靠文件名。换一个人接手,等于从头再来。
训练环境难装、依赖版本冲突、量化参数不透明,非算法工程师很难独立完成。
模型换芯片要重写工程,现场协议五花八门,网络一断整套系统就不可用。
平台侧负责模型生产与分发,板卡侧负责实时推理与现场联动。两层只通过标准模型包耦合,既能云端协同,也能完全离线运行。
数据集、标注、训练、评估、导出、商店与设备运营集中在一个 Web 平台,浏览器即工作台。
板卡以数据流组织全部能力,从采集、预处理、检测到输出,一条流管到底,现场无需 PC。
平台输出标准 deploy_package.zip,U 盘、网页或在线同步导入,板卡不依赖云端长连接。
从 200 张现场图开始,到可部署的 RKNN 模型,全部在一个浏览器内完成。每一步都有推荐默认值与进度反馈,算法经验不再是门槛。
图片上传不是终点。AIMC 在入库时完成 EXIF 纠偏、尺寸标准化与格式压缩,在训练前完成标签校验与数据集划分,让「数据质量」成为系统能力而不是个人经验。
标注是 AI 训练里最费时的环节。AIMC 用 VLM / ODE 预标注给出候选框,人工只处理「确认、微调、删除」三类动作,把画框时间压缩到原来的十分之一。
单图即时调用,整集创建后台批量任务并跳过已确认图片;顶部实时显示「预标注中 5/20」,可随时暂停、继续或清除。
单图确认、从当前图起批量确认、全部确认,适配「边标边查」与「先跑完整集再统一复核」两种习惯。
八向手柄缩放、拖动重绘、Delete 级联删除;A/D 切图、W/S 换类、1–9 直选类别,熟练后双手不离键盘。
训练服务采用「调度中心 + GPU 节点 Agent」架构。新 GPU 机器只需安装 Docker、启动 Agent、填入注册 Token,约 10 秒即出现在节点列表;平台侧零改动。
PT → ONNX → RKNN 的版本配方被封装在独立转换容器里。用户只选源模型、目标芯片与量化方式,剩下的依赖、算子与校准由平台处理。
RK3588 / RK3576 / RK3568 / RK3566 / RK3562 / RV1106 / RV1103,目标芯片以中文释义标注,非硬件工程师也能选对。
「实测」来自板端回传的帧率基准库;「估算」按芯片算力基线推算。两条来源明确标注,不把估算当实测。
ONNX opset、RKNN Toolkit 版本、量化参数都被固定在镜像里,换机器、换节点也不会出现「环境漂移」。
训练成果不该止步于一次交付。模型商店把开源模型、社区成果与团队资产放在同一个目录里,支持检索、评估、迁移训练与一键发布,形成知识沉淀的循环。
模型交付只是开始。平台把板卡的授权、升级、固件构建与插件分发收敛到同一处,售后与批量运维不再依赖远程桌面。
硬件指纹绑定,支持体验 / 常规 / 永久授权与宽限期;签发、续期、吊销、审计全流程留痕。
升级包签名验签、灰度通道、失败自动回滚;与账号解耦,仅校验设备指纹与授权凭证。
版本配方化构建离线安装包,内置低写入策略与 systemd 服务,现场一条命令完成安装或回滚。
四域插件统一签名校验与分发,按设备下发安装任务;校验失败的插件自动进入隔离区并给出中文原因。
板卡不是「跑模型的盒子」,而是一台完整的视觉工作站:接入相机、增强画质、推理检测、跟踪计数、联动 PLC、留存证据,全部在一台设备内闭环。
工业铝壳、DIN 导轨安装,双千兆网口与 USB 3.0 直连工业相机,RS485 / 串口对接现场总线。浏览器输入板卡 IP 即可管理,无需安装任何 PC 软件。
板卡的所有功能都围绕数据流组织:视频源进入后,依次经过预处理、检测、后处理与输出。每条流独立保存配置,互不干扰。
去雾、降噪、超分插件按需启用;参数按流保存,顺序可拖拽,关闭即直通。
AI 模型、传统视觉、AI + 插件并行三种引擎;固定场景可完全跳过 NPU。
跟踪、越线 / 区域 / 驻留、计数、尺寸测量与属性回填,结果带业务语义。
存储、串口、MQTT、TCP、UDP 与 Lua 积木可同时启用,各自独立模板。
图像从相机到 NPU 全程不经过 CPU memcpy:采集缓冲直接映射为 DRM/GBM buffer,经 RGA 硬件完成缩放与色彩转换,再通过 rknn_set_io_mem 交给 NPU。
默认首页每 2 秒轮询后端,推理状态、当前模型、视频源、实时帧率、耗时分解与存储池健康全部收敛在一屏。现场运维不需要理解底层,只需要看颜色。
点开任意数据流,四个环节以步骤条呈现:预处理插件、检测引擎与规则、后处理跟踪、输出通道与存储。每个区块都能就地展开参数,保存后下一帧生效。
检测录像、事件快照与事件记录全部保存在板卡本地。存储池优先使用 NVMe / SATA / USB / TF 扩展介质,系统盘只做应急备份,并设置明确容量上限。
| 日期 | 文件 | 大小 | 时长 |
|---|---|---|---|
| 11-21 | 20261121_1412.mp4 | 428 MB | 30 min |
| 11-21 | 20261121_1342.mp4 | 436 MB | 30 min |
| 11-21 | 20261121_1312.mp4 | 421 MB | 30 min |
扩展介质(NVMe / SATA / USB / TF)设为存储池后,录像、快照与事件库优先写入;系统盘仅在池失联时应急,并受容量上限保护。
录像按日期分页、可多选批量删除;事件记录支持按日期、类型清理;「清空全部」二次确认,释放空间一步到位。
通道每次发送时可将检测结果 JSON 入库,并按最小间隔保存带检测框的 JPEG 快照,形成可回放、可追溯的现场证据链。
从视频接入到现场联动,一块板卡覆盖工业视觉现场的主要能力面。
| 能力域 | 覆盖内容 | 现场价值 |
|---|---|---|
| 视频源 | USB(V4L2)、MIPI(RKISP)、RTSP(VPU 硬解)、虚拟源(拼接 / 触发 / 画布);最多 3 路并发 | 兼容既有工业相机与监控资产,无需更换采集卡 |
| 检测引擎 | AI 模型检测、传统视觉分析、AI + 插件并行;检测规则链(置信度 / 面积 / 长宽比 / 类别) | 固定场景免训练,复杂场景用模型,两者可互补 |
| 后处理 | 目标跟踪、越线 / 区域 / 驻留规则、进入离开计数、尺寸测量、二维码属性回填 | 直接产出业务语义,不必在上位机二次开发 |
| 输出通道 | 串口开关量、RS485 IO、MQTT、TCP、UDP、Lua 积木脚本、本地存储;多通道并存 | 直连 PLC、分选机、MES 与安防平台 |
| 插件体系 | pixel(预处理)、analysis(检出)、target(目标增强)、channel(输出)四域;签名校验、隔离区、看门狗 | 算法独立升级,异常不拖垮主服务 |
| 数据存储 | 存储池、录像分段、事件快照、事件库、保留策略、批量管理与一键清空 | 证据本地留存,存储可控、可追溯 |
| 安全与运维 | 硬件指纹授权、OTA 签名验签与回滚、系统更新、授权信息、中英双语 | 防盗版、可远程升级、现场零学习成本 |
每个插件自带 manifest 与参数 schema,前端自动渲染表单;上传即校验签名与角色导出,失败自动进入隔离区并给出中文原因。
插件可独立启停、独立调参;pixel 域按数据流单独配置,异常时 watchdog 自动禁用并降级直通,不影响其他流。
不会写代码,也能做联动。拖拽「检测 → 判定 → 入库 → 联动」积木即可生成 Lua 脚本,支持内置样例数据试跑,保存后可被多个输出通道引用。
积木改动自动覆盖右侧 Lua 代码;脚本库统一管理,按数据流绑定,测试数据可直接使用内置样例。
同一套板端软件覆盖从 IPC 小芯片到旗舰 RK3588 的完整 RK NPU 家族。模型、插件、工作流与 Web 界面不随芯片变化,选型只影响算力与帧率。
旗舰芯片面向多路高清并发与复杂模型;主流工控芯片覆盖单路 1080P 检测;IPC 小芯片则以低功耗、小分辨率场景为主。平台导出时直接选择目标芯片,板卡侧无需改动。
| 芯片型号 | NPU 算力(INT8) | 参考帧率 | 产品定位 | 推荐场景 |
|---|---|---|---|---|
| RK3588 | 6 TOPS(3 核) | 30–60 FPS @640 | 高性能旗舰 | 多路高清并发、复杂模型、边缘服务器 |
| RK3576 | 6 TOPS | 30–60 FPS @640 | 高性能次旗舰 | 高性价比多路检测、安防 NVR 形态 |
| RK3568 | 1 TOPS | 8–12 FPS @640 | 主流工控 | 单路产线质检、设备内嵌 |
| RK3566 | 1 TOPS | 8–12 FPS @640 | 低成本工控 | 零售、门禁、成本敏感型项目 |
| RK3562 | 1 TOPS | 6–10 FPS @640 | 入门级 | 低速检测、单目标识别 |
| RV1106 | 0.5 TOPS | 15–25 FPS @320 | IPC 小芯片 | 网络摄像机内嵌、低功耗长期值守 |
| RV1103 | 0.5 TOPS | 15–25 FPS @320 | IPC 小芯片 | 小型 IPC、电池/太阳能供电场景 |
RK3588 / RK3576:3 路并发、每路独占 NPU 核,适合园区与多工位产线。
RK3568 / RK3566:单路 1080P 检测的甜点区,成本与性能平衡。
RK3562:面向低速、单目标的轻量检测,快速验证场景可行性。
RV1106 / RV1103:小分辨率、低功耗,把检测直接做进摄像机。
场景在变,链路不变:采集现场图片、定义缺陷类别、训练模型、部署到板卡、把结果接到现场设备。差异只在相机、算力与输出协议。
场景:装配线外观检测(划痕、裂纹、缺件、错位、焊点不良)。
方案:平台上传产线图片 → 训练模型 → 板卡接工业相机 → 检出即串口触发剔除。
特色:硬实时 + 零拷贝,毫秒级响应直连 PLC。
场景:园区周界入侵、离岗检测、危险区域闯入、人员计数。
方案:标注人员 / 车辆 / 行为 → 板卡接 RTSP 监控流 → MQTT 推送告警。
特色:多路 RTSP 并发,越线与区域规则开箱即用。
场景:非机动车道检测、违停抓拍、车流量统计、人流统计。
方案:公开数据集预训练 + 现场微调 → 导出 int8 / fp16 → 低功耗部署。
特色:24 小时无人值守,录像与事件本地留存。
场景:作物病虫害识别、水果成熟度分级、杂草定位。
方案:上传田间影像 → 多类别检测模型 → 板卡安装于农机或大棚。
特色:去雾 + 超分插件链,改善低光与远距离小目标。
场景:货架商品检测、缺货预警、顾客行为分析。
方案:快速微调商品类别 → USB 摄像头接入 → 变化触发节省算力。
特色:RK3566 低成本方案,单店可批量部署。
场景:拆垛计数、包裹识别、库位占用检测、异常滞留。
方案:固定机位 + 传统视觉计数 / 模型检测 → TCP 上报 WMS。
特色:虚拟视频源可拼接多相机画面,一屏覆盖多个库位。
平台侧五步完成模型生产,板卡侧三步完成现场部署。全程有向导、有默认值、有状态反馈,不需要算法团队常驻现场。
平台与板卡均为可独立交付的标准件,接口清晰、依赖明确,便于集成商与终端用户分别部署。
| 模块 | 技术选型 | 说明 |
|---|---|---|
| 平台后端 | Python FastAPI · PostgreSQL · Redis · MinIO · Celery | 任务队列、对象存储与关系数据分离,支持横向扩展 |
| 平台前端 | Vue 3 · Vite · TypeScript · Pinia · Element Plus · UnoCSS | 浏览器即工作台,多用户数据隔离 |
| 训练引擎 | Ultralytics YOLO(v8 / 11 / 26) | n / s / m / l / x 全尺寸,支持迁移训练 |
| 模型转换 | ONNX opset 12 · rknn-toolkit2 | 独立 Docker 容器,固定版本配方 |
| 板卡系统 | aarch64 Linux(Ubuntu / Debian 系) | RK3588 / RK3576 / RK3568 / RV1106 等 |
| 板卡运行时 | C++17 · RKNN Runtime · RGA 2D · DRM/GBM | 零拷贝、三级流水线、内存池预分配 |
| 视频接入 | V4L2 · RKISP · FFmpeg(VPU 硬解) | USB / MIPI / RTSP / 虚拟源 |
| 输出协议 | 串口 · RS485 · MQTT · TCP · UDP · Lua | 多通道并存,模板引擎占位符 |
| 板卡前端 | cpp-httplib · Vue 3 · Element Plus | 前端内嵌固件,离线完整可用 |
| 数据与更新 | SQLite · 存储池 · 签名 OTA | 录像 / 事件 / 快照本地留存,失败自动回滚 |
Docker Compose 编排、初始化脚本、对象存储与数据库配置模板。
主程序、Web 前端、插件、systemd 服务、授权与升级公钥。
平台部署、板端部署、OTA 运维、插件开发与接口说明。
manifest 规范、参数 schema、角色导出与本地调试样例。