공장 자동화에서의 시각적 결함 감지

훈련 데이터는 공장 라인에서 사용되는 것과 가장 유사한 카메라에서 수집한 이미지입니다. 조명은 링 라이트와 같은 추가 조명을 포함하여 공장 환경과 일치해야 합니다. 카메라 렌즈 역시 이미지 품질에도 영향을 미칠 수 있으므로, 최종 시스템에서 사용되는 렌즈(또는 여러 옵션이 제공되는 경우 해당 렌즈)와 일치해야 합니다.

데이터셋의 정답값은 결함 부위에 경계 상자를 표시하는 라벨(나사처럼 작고 단순한 부품에 적합)이거나, 결함이 있는 특정 영역의 픽셀을 분리하는 이미지 마스크(PCB처럼 크고 복잡한 객체에 적합)일 수 있습니다. 데이터 라벨링을 시작하기 전에 모델 유형을 먼저 선택해야 합니다. 모델 아키텍처에 따라 필요한 주석 유형이 달라질 수 있기 때문입니다.

TI에서 지원하는 신경망의 경우, CCStudio™ Edge AI Studio 또는 edgeai-modelmaker를 사용하여 모델을 훈련할 수 있습니다. 보다 숙련된 개발자는 이상 탐지를 위해 오토인코더 모델을 사용하여 이 작업을 수행할 수 있습니다.

결함에 가장 적합한 모델 유형 선택:

• 객체 탐지 모델(예: YOLOX): 균열, 부품 누락 또는 기타 큰 결함과 같이 뚜렷하게 구분되는 결함을 찾아내는 데 가장 적합합니다.
• 의미론적 분할 모델(예: DeepLabv3): 변색이나 질감 문제와 같은 표면상의 문제를 감지하는 데 적합합니다.

해상도와 속도의 균형 유지:

중요한 미세 결함을 포착할 수 있을 만큼 충분히 높은 해상도를 선택하되, 검사 프로세스의 속도가 느려질 정도로 과도하게 세밀하지는 않은 해상도를 선택합니다. 대부분의 시스템은 처리해야 할 데이터의 양을 줄이기 위해 캡처된 원본 이미지를 축소하여 효율성을 높입니다.

특이 케이스의 경우 이상 탐지 고려:

결함을 예측할 수 없거나 정의하기 어려운 상황에서는 (오토인코더를 사용하는) 이상 탐지 모델이 더 간단한 접근 방식을 제공할 수 있습니다. 이러한"모델은"정상적인 제품의 모양을 학습하여 이와 다른 모든 요소를 잠재적 결함으로 플래그하므로, 결함 사례에 대한 훈련을 진행할 필요가 없습니다. 단, 이러한 유형의 모델은 Edge AI Studio 또는 edgeai-modelmaker에서 지원되지 않으므로, 개발자는 오토인코더 신경망을 직접 구현한 후 ONNX와 같은 지원되는 형식으로 내보내야 합니다. 

모델을 배포하려면 대상 하드웨어 가속기에 맞게 모델을 미리 컴파일해야 합니다. Edge AI Studio 및 edgeai-modelmaker와 같은 도구를 사용하면 컴파일이 자동으로 이루어집니다. 그렇지 않은 경우, 모델을 컴파일하려면 Bring Your Own Model 워크플로를 사용하여 TI GitHub의 edgeai-tidl-tools와 같은 소프트웨어 패키지를 통해 별도의 컴파일 단계를 거쳐야 합니다.

모델 아티팩트는 ONNX Runtime, LiteRT(이전 tensorflow-lite) 및 TVM과 같은 런타임을 통해 배포되며 하드웨어 가속을 위한 백엔드 소프트웨어로 TIDL(TI 딥러닝)을 사용합니다.

엔드 투 엔드 비전 애플리케이션에 모델을 배포하려면 AI 모델 자체의 가속은 물론, 이미지 전처리 및 후처리를 위한 여러 단계의 하드웨어 가속으로 파이프라인을 구성하는 edgeai-gst-apps로 시작하십시오.

TI는 edgeai-gst-apps 외에도, YOLOX-Nano 객체 탐지 네트워크와 edgeai-gst-apps를 기반으로 사용하여 소형 객체인 링 단자에서 결함 감지를 위한 데모를 구축했습니다. 이 모델은 Edge AI Studio로 훈련되어 양호한 부품과 여러 유형의 결함을 인식합니다. 추가적인 후처리 및 시각화를 통해 양호한 부품 수와 결함 부품 수에 대한 통계가 표시됩니다.