近日,锐捷网络在“视觉异常检测和创新性检测2024挑战赛”(Visual Anomaly and Novelty Detection 2024 Challenge,简称VAND)的少样本逻辑/结构异常检测赛道(VAND 2.0赛道2)中荣获第二名,并在计算机视觉顶级会议CVPR 2024上展示了这一成果,与来自世界各地的顶尖研究者进行“华山论剑”。这一成绩标志着锐捷网络的外观异常检测方案在业内的领先水平和技术创新能力得到了世界权威机构的高度认可。

VAND 2.0 赛道2排行榜

锐捷在VAND2.0赛道取得佳绩

VAND挑战赛旨在将视觉异常检测与工业异常检测场景更加紧密地结合起来,这在现实中有广泛的应用。今年是该挑战赛第二次举办。VAND挑战赛的优胜者被受邀参加CVPR 2024的展示。该挑战赛设置了2个赛道:

赛道1 — Adapt & Detect: Robust Anomaly Detection in Real-World Applications

赛道2 — VLM Anomaly Challenge: Few-Shot Learning for Logical and Structural Detection

此次锐捷网络团队参加的即为赛道2。

CVPR,英文全称IEEE/CVF Computer Vision and Pattern Recognition Conference ,是由IEEE计算机协会和计算机视觉基金会(Computer Vision Foundation,CVF)共同主办,是一年一度的全球计算机视觉领域与模式识别领域最顶尖的学术会议。其与ECCV(European Conference on Computer Vision)、ICCV(IEEE/CVF International Conference on Computer Vision)一起并称为计算机视觉领域的三大最高级别的顶级会议。

CVPR 2024于6月17-21日在美国西雅图举办

视觉异常检测技术:工业制造领域的革命性进步

在当今工业制造领域,视觉异常检测技术作为计算机视觉领域的重要研究方向,正以其独特的优势和广泛的应用前景,逐渐成为行业关注的焦点。这项技术在工业外观质量检测、产品零件安装检测等多个领域展现出巨大的潜力,满足了日益增长的需求。

锐捷网络团队在CVPR 2024会议上进行了名为《Segment-aligned Features Impose Logical Constraints》的主题演讲,展示了在异常检测算法上的最新进展。

锐捷网络团队演讲主题

工业异常检测场景中,存在各种复杂的异常类型。展示中,锐捷网络团队展示了工业产线上异常检测场景的两大类问题:结构异常(Structrual Anomaly)与逻辑异常(Logical Anomaly),以及如何在只有少量正常样本的情况下解决这两类问题。

左:正常图像;中:结构异常(橘子皮破损);右:逻辑异常(同一格子中食物放置的比例不对)

图中蓝色和红色位置为异常区域

1.结构异常到逻辑异常的效果提升

“以前,我们总是关注外观上的瑕疵。”会议主持Paul Bergmann说到,“但现在,那些逻辑上的异常成为效果提升的关键。”在VAND 2.0的数据集中,也设置了很多逻辑异常相关的困难数据。

所谓逻辑异常,指的是出现在错误位置的正确物品,这类物品往往没有肉眼可见的瑕疵,但是,在质量检测中,这类物品也应该被检出异常,避免这类残缺品流向市场。在2024年高考中,就出现了一次本可以避免的事故。

6月7日,2024年全国高考首日,语文科目在上午9点到11点半进行了考试。7日中午,在语文科目考试结束后,有网友爆料在海南省语文考试中,没有发放条形码。对此,海南省考试局相关工作人员表示,条形码因印刷有误没有发放,但不会影响后续的考试和判分工作。

在上述事件中,如果在印刷后能够检验条形码是否有异常,类似的问题就不会发生。

虽然传统的基于特征的异常检测算法比较擅长解决结构异常检测问题,但无法很好地解决逻辑异常检测问题。

传统的基于特征的异常检测算法能够有效检测出结构异常

左图:原始图像;中:异常位置;右:算法识别的异常热力图(越高亮异常度越高)

传统的基于特征的异常检测算法无法检测出逻辑异常左图:原始图像;中:异常位置;右:算法识别的异常热力图

(越高亮异常度越高,可以看到热力响应较小)

随着异常检测算法被应用在越来越多的工业质检领域,一些类似包含逻辑异常的场景不可避免,这对算法提出了更高的要求。

2. 少样本训练的成本优化

你能一眼看出下面异常图片上的异常在哪吗?

正常图片                                                                 异常图片

这个简单的例子可以看出,人类能够在完全没看过、或者仅仅看过少量的同类图片后,就形成异常的概念。这时候如果给人类一张新图,他们能准确地分辨这张图片是否存在异常。

然而机器往往需要大量同类图片的训练,才能区分正常和异常。训练模型通常会带来巨大的成本和能耗问题,业界急切渴望解决这个问题。随着大模型的出现,越来越多的任务可以被寥寥几张训练图片解决。相关的方案也出现在了异常检测上。

3. 锐捷团队的方法——SegmentAD

锐捷网络团队基于上述效果与成本的双重考虑,提出了一种基于掩码的异常检测方案,SegmentAD。这个方案成功在少样本学习中应用语义分割与对齐算法,并提出了一种高效的特征融合方案,最终在结构异常和逻辑异常检测上都表现出了良好的效果。

1. 在训练场景,SegmentAD首先将图片上的物体逐像素提取出来,每一个像素,SegmentAD都知道它属于哪个物体。同时,不同图片之间,SegmentAD会对齐物体的定义。通过这样的逐像素提取,SegmentAD获得了图片上物体的位置和面积等信息,这类信息与逻辑异常直接相关——假如某个物体的面积发生变化或者位置不正确,那么这个物体一定是一个异常物体。同时,SegmentAD参考传统的基于特征的方法,将图像的其它特征基于预训练大模型提取出来,这些特征可以直接用来发现结构异常——假如有一个特征与别的特征差异较大,那么它很可能是个结构异常特征。

2. 在测试场景,SegmentAD会分析图片上的物体是否在正确的位置,拥有正确的面积,以及是否可以拥有正常的特征。SegmentAD将这些信息统合起来并进行定量分析,最终得出这个图片是否是异常的结论。

通过定量指标,锐捷网络团队展示了SegmentAD在竞品算法中的先进性。

锐捷网络通用外观检测(GAOI)产品

众所周知在工业生产,尤其在纺织业,产品外观是最直观、最容易验收的指标。瑕疵不仅影响美观、甚至还影响安全和使用。因此在生产中,质检环节是影响产品质量的关键因素之一。目前业内还是主要以人工检测为主,存在以下缺点:

(1)劳动强度大,检测速度慢,检测效率低。

(2)检测人员主观因素影响大,漏检率高。

(3)人工成本较高,培训周期长,且流动性大。

(4)长时间的高强度工作不利于工人身体健康。

在实际生产线上,人工通常只能检出40%~60%的瑕疵,检验环节成了生产过程中的瓶颈,因此急需一个稳定、可靠、高效、智能的自动化检测系统来改变这一局面。

锐捷网络在该领域深耕多年,基于自主研发和设计的通用异常检测视觉算法,推出了智能织带外观检测机、智能验布机等GAOI产品,打造开箱即用的异常检测软硬一体方案。目前锐捷网络已和国内多家织带龙头企业达成合作,帮助了众多工厂打造智能产线,保障交付质量,提升品牌定位。

锐捷智能织带外观检测机产品介绍

锐捷智能验布机产品介绍

综上所述,视觉异常检测技术作为工业制造领域的重要研究方向,具有重要的实用价值和广阔的应用前景。通过引入人工智能技术,可以实现自动化的异常检测,提高生产效率和产品质量,对于工业生产过程中的质量控制和安全保障具有重要意义。面向未来,锐捷网络将继续在技术创新的道路上不断前行,始终坚持以客户为中心,用领先的技术赋能产品,让科技改变人类生产、生活的方方面面。