L2/L2+ ADAS(첨단 운전 보조 시스템)의 BEV(조감도) 

L2/L2+ 애플리케이션을 위한 센서 퓨전 BEV 시스템에는 차량 주변의 전체 범위를 지원하는 보정된 멀티 카메라 설정이 필요합니다. 

데이터 수집은 다양한 조명 조건(주간, 야간, 그림자), 기상 조건, 도로 유형, 교통 밀도와 자율 주행 시 여러 차량, 보행자 및 장애물의 존재 여부 등 다양한 주행 시나리오를 포괄해야 합니다.

라이다 포인트 클라우드 데이터는 개발 및 평가 중 BEV 표현에서 감지된 물체를 검증하기 위한 실측 자료 역할을 하며, 배치된 인식 파이프라인에 필수적인 입력이 아닙니다. 라이다 실측 자료를 사용하는 경우, 정확한 검증을 위해서는 카메라 프레임과 라이다 스캔의 동기화된 캡처가 필수적입니다. 

동시 객체 감지를 지원하는 AI 강화 BEV 시스템의 경우, 라벨링된 학습 데이터는 차량, 보행자, 자전거 운전자, 차선 표시, 도로 경계 및 자율 주행 기능에 중요한 기타 관련 기능을 식별해야 합니다.

사전 학습된 BEV 모델이 평가 및 배포 가능한 상태로 TI Model Zoo에서 제공됩니다. 

개발자가 자체 BEV 모델을 준비하고 싶을 수도 있습니다. 그런 경우 mmdetection3d를 기반으로 구축되었으며 다양한 BEV 3D 감지 모델의 개발, 교육 및 평가를 위한 통합 프레임워크인 edgeai-mmdetection3d를 활용할 수 있습니다. 또는 숙련된 개발자는 자체 맞춤형 학습 환경을 사용할 수도 있습니다. 

모델이 어떻게 학습되었는지와 관계없이, C7™ NPU에서 실행하기 위해서는 배포 전에 TIDL용으로 컴파일돼야 합니다. ONNX 또는 LiteRT 형식의 모델은 TI의 딥 러닝 가속기에 맞게 네트워크를 최적화하는 edgeai-tidl-tools를 사용하여 컴파일할 수 있습니다.

모델 선택 시에는 감지 정확도와 지연 시간 제약 사이의 균형을 고려해야 합니다. TI Model Zoo 및 벤치마크 툴은 대상 하드웨어에 기반한 선택으로 안내할 수 있는 성능 데이터를 제공합니다.

TI의 FastBEV 데모에서 사용된 모델은 ResNet-18 백본 + FPN 아키텍처를 사용하며, 차량 내 칩에서 더 빠른 BEV 인식을 수행할 수 있도록 특별히 설계된 오픈 소스 Fast-BEV 모델을 기반으로 합니다. 이 모델은 nuScenes 데이터 세트로 학습되고 검증되었습니다.

FastBEV 데모는 TDA 프로세서용 SDK의 일부로 포함된 Vision Apps 프레임워크를 사용하여 BEV 모델의 일반적인 배포를 보여줍니다. 

핵심 인식 파이프라인: OpenVX 기반 파이프라인은 6카메라 캡처, MSC 하드웨어 스케일링, A72 전처리, C7™ NPU에서의 TIDL 추론 및 A72 후처리를 통합합니다.

라이다 실측 자료 통합: 핵심 파이프라인 외에도, 라이다 포인트 클라우드 데이터가 병렬로 수집되어 BEV 출력에 공간 레퍼런스로 오버레이됩니다. 이를 통해 개발자는 평가 중 감지된 객체를 실측 자료와 시각적으로 비교할 수 있습니다.

추가 파이프라인 기능: 이 데모에는 실시간 성능 모니터링과 개별 카메라 이미지 및 상단 뷰 BEV 시점 모두에서 감지된 객체를 렌더링하는 듀얼 뷰 디스플레이도 포함됩니다.