L2/L2+ 先進運転支援システム (ADAS) のバード アイ ビュー (BEV) 

L2/L2+ アプリケーション向けのセンサ フュージョン BEV システムには、車両の周囲を完全にカバーするキャリブレーション済みのマルチカメラ セットアップが必要です。 

データ収集は、さまざまな照明条件 (昼間、夜間、影)、天候条件、道路の種類、交通密度、ならびに自動運転に関係するさまざまな車両、歩行者、障害物を含む、多様な走行シナリオをカバーする必要があります。

LiDAR 点群データは、開発および評価中に BEV リプレゼンテーション内で検出された物体を検証するためのグランド トゥルースとして機能し、運用環境の認識パイプラインへの必須入力ではありません。LiDAR のグランド トゥルースを使用する場合、正確な検証のためには、カメラ フレームと LiDAR スキャンを同期キャプチャすることが不可欠です。 

同時物体検出に対応した AI 強化型 BEV システムでは、ラベル付き学習データにより、車両、歩行者、自転車利用者、車線標示、道路境界など、自動運転機能に関連する重要な特徴を識別する必要があります。

TI Model Zoo では、評価や導入に対応した事前学習済み BEV モデルを利用できます。 

独自の BEV モデルを開発することもできます。その場合、mmdetection3d 上に構築されたさまざまな BEV 3D 検出モデルの開発、トレーニング、評価のための統一されたフレームワークである edgeai-mmdetection3d を利用できます。経験豊富な開発者の場合は、独自に構築したトレーニング環境を選択することも可能です。 

モデルをどのようにトレーニングするかにかかわらず、導入する前に、C7™ NPU 上で実行できるよう TIDL 向けにモデルをコンパイルする必要があります。ONNX や LiteRT 形式のモデルは、edgeai-tidl-tools でコンパイルすることで、TI のディープラーニング アクセラレータ向けにネットワークを最適化できます。

モデルを選択する際は、検出精度とレイテンシ制約とのバランスを取ることが重要です。TI Model Zoo とベンチマークツールを利用することで、対象ハードウェアに適したモデルを選定するための性能データを確認できます。

TI の FastBEV デモで使用したモデルは、ResNet–18 バックボーン + FPN アーキテクチャを使用し、車載チップ上でより高速な BEV 認識を実行できるように特別に設計された、オープン ソースの Fast-BEV モデルをベースにしています。このモデルは、nuScenes データセットを使用してトレーニングおよび検証されています。

FastBEV デモでは、TDA プロセッサ向け SDK に含まれる Vision Apps フレームワークを使用した、BEV モデルの一般的な導入方法を紹介しています。 

コアの認識パイプライン：OpenVX ベースのパイプラインには、6 台のカメラからの入力キャプチャ、MSC ハードウェア スケーリング、A72 による前処理、C7™ NPU による TIDL 推論、A72 による後処理が統合されています。

LiDAR グランド トゥルースの統合：コア パイプラインに加えて、LiDAR 点群データも並行して取り込まれ、空間基準として BEV 出力にオーバーレイされます。この結果、開発者は評価中に検出された物体をグランド トゥルースと視覚的に比較できます。

追加のパイプライン機能：また、このデモは、リアルタイム性能の監視機能とデュアルビュー表示機能も搭載しており、個別のカメラ画像と上面 BEV の両方の視点から検出対象物をレンダリングすることができます。