为保证使用效果,使用前请阅读操作流程与配置方法,正确接入大模型,对小模型检测结果进行智能复审。
1、部署组网
如上图,网络摄像头经局域网或公网接入智能分析盒。盒子内置AI小模型算法,产生的告警通过局域网或公网进入上位机管理平台。平台内置多模态大模型,基于自定义的复审提示词,对小模型告警数据进行二次复审。
2、使用流程
使用流程如上所示。分为盒子端、引擎端、平台端三部分。
(1)盒子端操作: 告警推送地址配置。在盒子端填写平台推送地址,将告警推送至上位机管理平台。
(2)引擎端操作: 复审结果地址配置。在引擎端填写平台推送地址,将复审结果推送至上位机管理平台。
(3)平台端操作: 首先在人机交互中测试提示词是否有效。如果有效,创建复审任务,填写任务名称与提示词,关联复审算法。在任务查看中,可查看复审任务,在告警列表中可查看大模型的复审结果。
3、告警推送设置(盒子端)
在浏览器地址栏中输入盒子访问地址:http://盒子IP:9092 进入盒子管理系统,在系统【数据推送】-【云平台】中设置上位机管理平台的推送地址、端口号与设备名称,配置如下图。这个地址为上位机管理平台服务器的IP地址,端口号默认为11883,设备名称可自定义输入,完成后点击网络检测并保存。
4、复审结果推送(引擎端)
引擎端的访问地址:http://大模型一体机服务器IP:9392 在引擎端配置大模型复审结果推送地址。配置如下图。这个地址为上位机管理平台服务器的IP地址、http默认端口为9192,mqtt默认端口为11883,设备名称可自定义,完成后点击保存。
5、提示词测试(平台端)
部分推荐提示词见链接。在对话框中输入交互内容,可上传图片,完成后点击发送,等待多模态大模型回复。
支持多轮多模态交互,可输入图片与文本指令对多模态理解能力进行测试,同时,优化文本指令引导大模型输出最佳的图像理解内容。
点击右下角清除按钮,清除当前对话内容,可开启新一轮对话。
6、大模型设置(平台端)
将提示词后缀删除,并进行重置。
7、复审任务创建(平台端)
选择要复审的设备、算法、视频通道,填入在交互任务中测试好的提示词,完成后点击保存,创建任务。
8、复审结果查看(平台端)
选择要复审的设备、算法、视频通道,填入在交互任务中测试好的提示词,完成后点击保存,创建任务。大模型复审一栏可查看复审结果。包括已确认、未处理以及误报三类。已确认表示大模型复审结果为正报,误报表示大模型复审结果为误报。
如下图,大模型对小模型识别结果进行复审,并确定为误报。
真诚点赞 诚不我欺
回复