机器视觉算法实践，一直科研和产业落地的重点。对于算法工程师而言，训练一个优秀的算法并不难，但是为算法模型安排一个稳定的软件载体和硬件载体，则需要投入大量的研发成本（如硬件解码、适配多品牌摄像头等）和硬件选型。 我们团队通过长期的项目实践（聚焦于安全生产、智能生产、智能物流、矿业视觉、出海机器视觉业务），高成熟度的完成了一套成熟的算法模型的软件载体和硬件载体，极大的便利了算法模型的产业落地。并且我们的技术人员赋予了它一个烂俗的名称：晓知精灵引擎。
我们面向的是专业的软件技术人员，而不是一般从业者。所以请各位读者量力而行哦！

晓知精灵设备通过稳定扎实的边缘计算硬件，和配套的基础软件，帮助算法开发者解决了AI模型孤立运行的问题，开发者可快速可利用社区开源出来的工具链、源代码（也支持用自己的算法源代码），快速部署落地自己的业务算法模型。

软件载体包含了什么？

软件载体包含了一整套的适配算法模型的内置配套软件：比如算法模型是子弹，软件载体包含了枪管、瞄准器、枪托、保险、弹夹等一些列能把子弹发射出去的套件。

就像下图所示：

那么具体包含什么呢？

1. 视频流工业级硬件解码模块：初学者会用OpenCV，但是它会导致死机，无法7*24稳定运行，实验室搞搞还行，项目中稳定运行是不可能的
2. 硬件色域转换模块：解码出来图像帧是YUV数据格式，但是AI分析需要RGB三通道数学矩阵，色域转换对于任何CPU都是极大的压力，因此我们用硬件模块来完成这部分功能
3. 工业级数据库模块：随数据量增加空间占用线性增加，增删改查耗时对数型（logN）增加
4. 存储管理：软件可永远稳定运行，空间占满会自动删除旧数据
5. 视频流的适配性：无论是各品牌的摄像头、硬盘录像机的视频流、线上视频流，均可接入
6. 完整的BS软件UI：摄像头配置、视频播放、实时推理结果画框展示、网络管理、性能指标监看、告警数据展示等等均提供成熟的UI展示
7. 更贴合市场的功能：算法可支持生效时间设定、内外网双网穿透支持、远程隧道访问、实时画面的OSD叠加显示、静态文件升级、安全设置

功能名称	功能描述	UI局部截图
实时画面	实时多分屏预览画面，可实时展示推理结果
视频接入	支持各品牌摄像头、无人机视频流、NVR视频流、线上实时流的接入
任意第三方自定义算法导入	支持用户的任意第三方算法包的模型文件导入
网络管理	支持双网隔离，远程隧道，生产网办公网穿透
授权管理	用户可通过成型工具做设备授权管理，助力用户快速完成产品化
安全设置	用户可设置锁屏、验证码等安全功能，助力用户快速完成产品化
性能优化	充分利用NPU性能，多模型级联性能最优化，千元级芯片推理效率可达150FPS	-

硬件载体包含了什么？

面对这个标题，我们首先考虑的问题是：为什么要有硬件载体？
其实答案很简单，如果所有的算法模型，都通过GPU算力服务器来部署运行，那么硬件成本是最大的问题。为了解决这个问题，我们的硬件载体主要包含了搭载NPU算力芯片的边缘工控机（当然也可以在服务器上运行）。

目前支持两款主流的NPU芯片：

1. 瑞芯微RK系列
2. 华为昇腾系列

边缘工控机最大的优势是：

1. 单台设备价格更便宜
2. 同等算力可分析的视频流数量更多
3. 对运行环境依赖性更低，不需要空调！

有的朋友会问了：你说的这些NPU算力工控机，市场上一大堆呢，随便都可以买到。
实际上并不是这样哦，我们技术团队耗时4年时间，从渠道、电商、台湾等多个维度的渠道，选购了各种品牌型号的硬件设备（都是ARM-Linux操作系统）达300余种，能稳定通过技术测试的，不足2%（举个栗子，随便执行一个sudo upgrade指令，原形毕露）。
在各种各样的残次品当中，我们列举几种问题给大家分享：

1. 视频流硬件解码不均匀

   部分厂家的设备，在多路视频流并发解码的时候，很难做到稳定流畅的解码，会“一坨一坨”的解码处理。展示出来的效果就是AI推理出来的结果有卡顿。

2. NTP时间不同步会导致设备无法开机

   神奇吧！就好比你的电脑时间和地球时间不一致，会导致你的电脑无法开机。工控机的市场就是这么混杂！

3. 散热不好

   这个最常见了，满功率运行算法，设备热的烫手，如何指望它能有长久的寿命呢？（我们要求设备满功率运行的状态下，设备外表面温度一如你女朋友的脸庞）

4. 操作系统垃圾

   这个也很常见，虽然都是Ubuntu、麒麟V10、Debian的操作系统，但是很多品牌的设备，由于内核裁剪、NPU适配的技术落后，会有各种各样的第三方软件无法安装，如MySQL。

晓知精灵引擎解决了视觉算法落地产业的哪些痛点问题？

1. 算法第三方定制成本高 用户方只需要一名专业技术人员，即可完成完成实验室算法模型直接产业化落地的目标。无需付出高昂的成本和算法第三方公司定制算法。
2. 业主数据保密无法开放 我们在项目的实践过程中，有大量的项目用户数据无法出场，如核电、物流、监狱、制造工厂等。
3. 缺少便宜稳定的软硬件算法载体 又要价格便宜，又要稳定高效，哪有这种好事？现在就有了……
4. 用户需要知识产权 如果只是完成项目的交付，对于用户方来讲，很难沉淀下来自己的技术核心。但是算法自己完成训练，并且拥有全套的AI源代码，意义就不一样了。

我们开放了哪些内容？

1. AI视觉算法任务的全套源代码：包含目标检测、实例分割、图像分类、语义分割等。当然用户也可以用自己的源代码来训练模型；
2. 算法模型移植到硬件设备的全套工具链：算法模型都是在GPU显卡训练出来的，迁移到边缘芯片尤其是信创芯片上取，需要做模型量化迁移；
3. 数据标注工具链：这个用户可选择自己的标注工具链，也可选择用我们提供的；
4. 算法包制作工具链：算法模型产品化应用，需要支持用户的参数配置，我们开放了算法包制作，通过后台配置文件的形式，可让用户在前端做可视化的参数配置调整。

整个工具链的Github链接：https://github.com/AIDrive-Research/EdgeAI-Toolkit

为什么我们的用户不选择使用AI训推一体可视化平台？

各位读者你们好，既然你都能从头到尾阅读到这里，为什么不选择训推一体可视化平台，原因你们都懂的......