40배 짧은 지연 시간으로 탐색 및 인지를 지원하는 픽셀 수준 세분화
C7™ NPU 장착 프로세서를 사용해 실시간으로 이미지에서 미세한 장애물과 경로 감지
애플리케이션 개요
현실 세계에는 복잡한 환경이 존재하며, 로봇과 드론, 차량은 이를 안전하고 효율적으로 탐색해야 합니다. 이러한 환경을 이해하려면 경로와 장애물을 상세히 파악할 수 있어야 합니다.
AI 모델은 의미론적 세분화 신경망 모델을 사용해 픽셀 수준에서 주변 환경을 식별합니다. 결함 감지, 의료용 영상, 농업 등 여러 다른 애플리케이션도 세분화 모델이 제공하는 의미 있는 이상치와 사물의 정밀한 윤곽선 탐지를 통해 유사한 이점을 누릴 수 있습니다.
이렇게 복잡한 AI 모델을 에지에서 실행하려면 상당한 처리 능력이 필요하며, 보통 C7™ NPU와 같은 가속기를 사용해 실시간 의사 결정을 지원해야 합니다.
평가 시작하기
데이터 수집
데이터 샘플은 프로덕션 애플리케이션에서 사용되는 카메라와 유사한 카메라로 촬영한 이미지입니다. 이미지는 수동으로 수집할 수도 있고, Edge AI Studio와 같은 툴을 통해 수집할 수도 있습니다. 이미지는 사물의 윤곽선을 나타내는 픽셀 마스크 또는 폴리곤으로 라벨링되며, 복잡한 형태를 이룰 수 있습니다.
양질의 데이터세트에는 다양한 현실적 장면과 인식 대상 사물의 다양한 조합이 포함되어야 합니다. 추적에 중요하지 않은 모든 것을 포함하는 일반적인 ‘배경’ 클래스가 있는 것이 보편적입니다. 대부분의 실사 장면에는 서로 겹치거나 서로의 일부분을 가리는 사물이 많은 것이 정상이지만, 의료용 영상이나 결함 감지와 같은 애플리케이션에서는 이러한 상황이 발생하지 않을 수 있습니다. 강력한 모델을 훈련하려면 사물의 위치와 방향이 충분히 다양해야 하고, 조도나 기후 조건도 여러 가지로 제공되어야 합니다.
데이터 품질 평가
데이터와 라벨이 긴밀하게 일치하여, 인식할 사물이 마스크나 폴리곤으로 충분히 덮여 있어야 합니다. 이러한 라벨을 이미지에 시각화하여 라벨이 누락된 영역이나 라벨이 사물 범위를 크게 벗어난 영역이 없는지 확인하면 도움이 됩니다. 라벨에 잡음이 심하면 신경망이 적절한 시각적 패턴을 학습하기 어렵습니다.
데이터세트 증강을 이용하면 데이터세트가 수집한 크기와 변형을 늘리는 데 좋습니다. 인공 ‘증강’은 이미지를 수정하여 사본을 여러 개 만들고 데이터세트를 확장합니다. 하지만 이미지를 회전하거나 크기를 조정하는 등 몇몇 증강을 하려면 라벨 자체를 같은 방식으로 수정해야 합니다.
아래의 이미지는 tiscapes2017 세분화 데이터세트의 데이터로 학습한 세분화 모델의 Edge AI Studio를 표시한 것입니다. 이 데이터세트는 사물 감지 바운딩 박스와 세분화 마스크를 둘 다 포함합니다. 툴은 두 가지 유형의 주석을 모두 표시하지만, 이미지에서 사람, 표지판, 차량의 외곽선을 나타내는 마스크를 세분화 모델 훈련용 주석으로 사용합니다.
모델 구축 및 학습
CCStudio™ Edge AI Studio와 edgeai-modelmaker에는 사용자 지정 데이터세트에서 바로 훈련할 준비가 된 세분화 모델이 여러 개 포함되어 있습니다. edgeai-modelmaker를 사용하는 경우, 사용자 지정 데이터세트는 세분화 라벨과 함께 COCO 형식을 사용하게 됩니다.
또는 Pytorch 및 Tensorflow와 같은 툴을 사용해 잘 구축된 모델을 훈련하거나, 완전히 사용자 지정인 모델을 구현할 수 있습니다.
요구 사항에 맞는 모델 찾기
적절한 모델을 선택하려면 정확도와 지연의 균형을 맞춰야 합니다. Deeplabv3와 같은 모델은 C7 NPU에서 효율적으로 작동하며, 모델 선택 툴에서 대표적인 벤치마크를 참조할 수 있습니다.
모델 배포
모델을 배포하려면 우선 대상 하드웨어 가속기를 대상으로 모델을 컴파일해야 합니다. Edge AI Studio 및 edgeai-modelmaker와 같은 툴을 사용하면 자동 컴파일링이 지원됩니다. 아니면 모델을 컴파일하기 위해 Bring Your Own Model 플로를 사용해 TI GitHub에서 edgeai-tidl-tools와 같은 소프트웨어 패키지를 통해 별도의 단계를 거쳐야 합니다.
모델 아티팩트는 ONNX Runtime, LiteRT, TVM과 같은 런타임을 통해 배포하며, 가속용 하드웨어 백엔드로는 TIDL(TI 딥러닝)을 사용합니다.
모델을 엔드 투 엔드 비전 애플리케이션에 배포하려면 edgeai-gst-apps로 시작하십시오. 이 리포지토리는 AI 모델 자체의 가속은 물론 이미지 전처리 및 후처리를 위한 하드웨어 가속을 여러 단계로 구성하여 파이프라인을 구축합니다.
적합한 장치 선택
장치 선택은 필요한 AI 성능 수준과 카메라 처리량(해상도 및 프레임 속도)에 좌우됩니다. 여러 장치의 성능 비교는 아래 표를 참조하십시오. 참고: 이러한 장치의 전체 벤치마크를 알아보려면 Edge AI Studio에서 제공되는 모델 선택 툴을 사용하십시오.
아래 표의 벤치마크는 SDK 버전 10.1을 사용해 생성한 것이며, 2 TOPS 성능의 AM62A가 CPU 전용 솔루션보다 40배 이상 우수한 성능을 제공한다는 사실을 입증합니다.
| 제품 번호 | 프로세싱 코어 | NPU 지원 여부 | 의미론적 세분화 벤치마크 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
DeepLabv3 세분화(512x512) 성능 |
regnetx-800 백본을 사용한 FPN Lite(512x512) 성능 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| AM62P | Arm® | NPU 없음 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| AM62A7 | Arm® | 2 TOPS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| TDA4VE-Q1 | Arm® | 8 TOPS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| FPS(초당 프레임 수) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
시작하는 데 필요한 모든 하드웨어, 소프트웨어 및 리소스
하드웨어
SK-AM62A-LP
AM62A는 AM6xA 제품군 중에서 가장 저렴한 AI 가속 장치이며, 평가에 가장 적합합니다. 이미지 캡처에 일반 USB 카메라나 웹캠을 사용할 수 있고, 실시간 데이터 기반으로 모델을 평가합니다.
소프트웨어 및 개발 툴
PROCESSOR-SDK-LINUX-AM62A
에지 AI 프로세서 SDK는 Linux 기반이며, 하드웨어 가속으로 컴파일된 모델을 실행하는 데 필요한 소프트웨어 구성 요소를 포함합니다. AM62A 대신 다른 에지 AI 가속 프로세서를 사용할 수도 있습니다.
CCStudio™ Edge AI Studio
이 툴은 TI 에지 AI 프로세서에서 모델을 학습, 컴파일 및 배포하기 위한 기능을 제공합니다. 사전 생성된 인기 모델의 벤치마크를 확인할 수 있는 모델 선택 툴도 제공합니다.
명령줄 툴
Linux 및 TIDL을 지원하는 마이크로프로세서 장치용 툴입니다. TI의 에지 AI 솔루션은 다양한 툴과 최적화된 라이브러리를 제공하여 DNN 개발 및 배포의 전체 제품 수명 주기를 간소화합니다.