【CSIG云讲堂】周瑜-零样本工业异常检测方法与应用 🚀

💡 研究背景与需求

大家好，我是来自华中科技大学电子信息与通信学院的周瑜。今天我将汇报关于棉样本工业异常检测方法与应用的研究。高端制造是国家实体经济的重要基础。中国制造业规模已连续14年位居全球第一。习近平总书记在2022年也对高端制造的未来发展做出了重要指示。

🔎 工业瑕疵检测

制造业面临的共性需求是对工业制品进行品质检验和质量检测。随着光学成像技术和计算机视觉技术的发展，利用这些技术进行瑕疵检测已成为工业界的常用方法。工业制品的瑕疵也被称为工业缺陷或工业异常。

外观瑕疵与逻辑瑕疵

• 外观瑕疵（加性缺陷）：在正常物体表面出现额外的异常区域，例如木头或坚果上的瑕疵。
• 逻辑瑕疵（减性缺陷）：正常产品上出现信息缺失，例如产品缺少一部分。

工业缺陷是建立在正常产品之上，破坏正常产品规则的部分。

工业异常数据的特点

1. 外观随机：缺陷没有固定的形态。
2. 形状随机：缺陷的形状各异，没有固定形态。
3. 位置随机：缺陷出现在产品上的位置没有规律。

产业界面临着对高精度、高效率、高迁移性的缺陷检测方法的需求，尤其是在跨产品、跨产线、跨时间、跨视角的生产条件下。

🔍 零样本工业异常检测

发展趋势

• 2016-2020年：有监督方法：采用物体检测、图像分割等方法解决已知类型的工业异常检测问题。
• 2020年后：无监督/异常检测方法：关注如何用无监督方法检测任意类型的未知缺陷。
• 去年至今：零样本工业异常检测：在任意类型未知缺陷检测的基础上，实现跨产线、跨时间的模型迁移。

现有方法

• 基于双分支的方法：如STAD，STPM，利用双分支对异常区域表达的差异性进行检测。
• 基于重建的方法：如DEMD，DSR，通过重建正常图片，比较原始异常图片和重建图片来检测缺陷。
• 基于Memory Bank的方法：如PatchCore，将正常样本保存在memory bank中，测试时与测试图像对比。

这些方法依赖于正常产品的图片进行训练，但在跨产线、跨产品等条件下，仍需重新训练模型，模型迁移性受限。

少样本异常检测

基于少量样本训练正常样本分布的估计，测试时与正常样本比较。但少量样本难以充分描述正常样本的数据分布规律。

基于跨模态技术的方法

基于CLIP和SAM的零样本异常检测方法，如WinCLIP，AprilGAN，具有显著的迁移性优势，引起广泛关注。

💡 工业异常检测中的小缺陷识别难题

在工业场景中，跨模态技术面临一些难点：

1. 局部性和弱语义性：工业异常数据常具有局部性和弱语义性。缺陷通常是小的纹理区域，没有很强的独立语义。正常物体占据图像绝大多数，对跨模态关联带来影响。
2. 逻辑异常：工业图像中存在大量逻辑异常，例如标签缺失或物体翻转。需要与正常图像对比才能确认缺陷。

✨ 零样本工业异常检测新方法

研究动机

在跨产品、跨产线、跨时间、跨视角等生产条件变化的情况下，实现模型的零样本迁移，无需样本搜集标注和模型训练，快速上线。

核心发现

测试样本之间蕴含着重要的性质和规律。充分利用这些性质和规律，可以设计简单而高精度的异常检测方法。

数据统计

• MVTec AD数据集：97.26%像素正常，2.74%像素异常。
• Visa数据集：99.45%像素正常，0.55%像素异常。

正常先验非常丰富，但未被充分利用。图像中正常区域彼此相似性较高，异常区域与正常区域及其他异常区域不相似。

新方法

直接将测试集输入模型，进行分类与分割，无需训练、提示或正常参考图片。

方法包含三个模块

1. 多聚合度的领域聚合模块：采用ViT特征提取图像特征，在中间层进行特征输出，对局部领域进行提取和自适应平均池化。
2. 基于PaaS Token的相互打分：利用测试集中其他图片为每个PaaS Token打分，选择最小距离作为异常得分。
3. 区间打分机制：选择最低分数的30%作为PaaS Token的最终得分，避免表观混合问题。

像素级得分与图像级异常分类

将像素级得分作为图像的最终异常得分。使用ViT的class token进行距离度量，对局部噪声不敏感。

互优化过程

定义图模型和多窗口掩码操作，利用流行学习进行扩展，通过加权平均调整图像的异常得分。

实验结果

与现有零样本异常检测方法相比，在多个指标上获得大幅提升。与少样本方法相比，也具有优势。

消融实验

• 多聚合度聚合有效，135组合效果最佳。
• 30%区间平均取得最佳权衡。
• 分类优化模块显著提升分类指标。

通用性分析

分类得分优化模块具有良好的通用性，可与其他异常检测方法结合。

推理时间优化

将测试集划分为子集，利用子集图像相互打分。减小backbone可显著提升速度，精度下降较少。

💡 典型应用

• 显示类产品检测：检测手机屏幕的裂纹、显示亮暗不均等缺陷。
• 外观检测：检测手机组装后的各种瑕疵。
• 半导体前道制程缺陷检测：针对晶圆的缺陷检测，效率和精度要求高。
• 微显示器缺陷检测：针对AR/VR显示类产品的缺陷检测。

感谢各位同学的努力和武汉金色电子的长期资助。论文和源码链接已给出，欢迎下载使用。谢谢大家！