工廠自動化中的視覺缺陷偵測

訓練資料將採用與工廠生產線上使用的相機非常相似的相機所擷取的影像。照明應與工廠條件一致，包括任何額外的照明設備，如環形燈。攝影機鏡頭也會影響影像質量，因此它應該與最終系統中使用的鏡頭（如果有多個鏡頭可供選擇）保持一致。

資料集的真實標籤可以是缺陷部分的邊界框（更適用於螺絲等小型、簡單的零件），也可以是顯示缺陷的特定區域的像素的圖像遮罩（更適用於 PCB 等大型、複雜的物體）。在標註資料之前選擇模型類型，因為模型架構可能會影響所需的標註類型。

可以使用 CCStudio™ Edge AI Studio 或 edgeai-modelmaker 對 TI 支援的神經網路進行模型訓練。更高階的開發人員可以使用自編碼器模型進行異常偵測來完成此任務。   

選擇最適合您缺陷的模型類型：

• 物體偵測模型（例如 YOLOX）：最適合發現明顯的、獨立的缺陷，例如裂縫、缺失零件或其他較大缺陷。
• 語意分割模型（例如 DeepLabv3）：非常適合偵測表面問題，例如變色或紋理問題。

平衡解析度和速度：

選擇足夠高的解析度，以便發現重要的微小缺陷，但又不能太詳細，以免減慢檢查過程。大多數系統透過縮小原始擷取影像的尺寸來減少需要處理的資料量，從而提高效率。

考慮針對特殊情況進行異常偵測：

對於無法預測或難以定義缺陷的情況，異常偵測模型（使用自編碼器）可以提供更簡單的方法。這些模型會學習"正常"產品的外觀，並將任何不同的產品標記為潛在缺陷——無需使用有缺陷的產品進行訓練。但是，Edge AI Studio 或 edgeai-modelmaker 不支援這些類型的模型，因此開發人員必須自行實作自編碼器神經網路，並將其匯出為 ONNX 等受支援的格式。 

模型部署需要預先針對目標硬體加速器編譯模型。使用 Edge AI Studio 和 edgeai-modelmaker 等工具，可自動完成編譯。否則，編譯模型將需要透過 TI GitHub 上的 edgeai-tidl-tools 等軟體包，使用自帶模型流程完成單獨的步驟。

模型偽影透過 ONNX Runtime、LiteRT（即原先的 tensorflow-lite）和 TVM 等執行階段進行部署，並使用 TI 深度學習 (TIDL) 作為硬體加速的後端軟體。

要將模型部署到端對端視覺應用程式中，首先需要 edgeai-gst-apps。它除了加速 AI 模型本身之外，還透過多個階段的硬體加速來建立管線，以對影像進行預處理和後處理。

除了 edgeai-gst-apps 之外，我們還建立了一個演示程序，用於偵測小型物體（環形終端）上的缺陷，該演示程序使用 YOLOX-Nano 物體偵測網絡，並以 edgeai-gst-apps 為基準。此模型使用 Edge AI Studio 進行訓練，能夠識別合格零件與多種類型的缺陷。進一步的後處理和視覺化顯示了合格零件和不合格零件數量的統計數據。