ナビゲーションおよび認識向けのピクセルレベル セグメンテーション (従来比 40 分の 1 の低レイテンシ)

データ サンプルは、実稼働アプリケーションで使用されるカメラと同様のカメラで収集された画像です。画像は手動で、または Edge AI Studio などのツールを使用して収集することができます。画像にはピクセル マスクまたはポリゴンのいずれかのラベルが付けられ、オブジェクトの輪郭を縁取ることができ、複雑な形状を形成することができます。

優れたデータセットには、さまざまな現実的なシーンや、認識対象となるオブジェクトの組み合わせが含まれます。追跡の対象として重要ではないあらゆる要素を包括する、汎用的な「バックグラウンド」クラスを設けることが一般的です。 実際のほとんどの場面では、オブジェクト同士が重なり合ったり、部分的に遮蔽されたりすることが多くありますが、医療画像処理や欠陥検出のようなアプリケーションでは、このような状況に遭遇しない可能性があります。堅牢なモデルをトレーニングするには、物体の位置や方向、およびさまざまな照明や気象条件についても多様性を持たせる必要があります。

CCStudio™ Edge AI Studio と edgeai-modelmaker には、カスタム データセットですぐにトレーニングできる複数のセグメンテーション モデルが含まれています。edgeai-modelmaker が使用されている場合、カスタム データセットでは、セグメンテーション ラベルで COCO 形式が使用されます。 

それ以外の場合は、Pytorch や Tensorflow のようなツールを使用して、確立されたモデルをトレーニングしたり、完全に独自のモデルを実装したりすることができます。

適切なモデルを選択することは、精度とレイテンシのトレードオフです。Deeplabv3 などのモデルは C7 NPU 上で効率的に動作します。また、代表的なベンチマークは、モデル選択ツールで入手できます。

モデルの展開では、対象となるハードウェア アクセラレータ用に、モデルを事前にコンパイルする必要があります。Edge AI Studio や edgeai-modelmaker のようなツールを使用すると、コンパイルが自動的に行われます。そうでない場合、モデルのコンパイルは TI の GitHub 上にある edgeai-tidl-tools などのソフトウェア パッケージを使用して、独自モデル (BYOM) のフローを通じて別途実行する必要があります。

モデル アーティファクトは、ONNX Runtime、LiteRT、TVM などのランタイムを通じてデプロイされ、ハードウェア アクセラレーションのバックエンドとして TI Deep Learning (TIDL) が使用されます。

モデルをエンド ツー エンドのビジョン アプリケーションにデプロイするには、まず edgeai-gst-apps を使用し、画像の前処理および後処理に加えて AI モデル自体の高速化も含め、複数のハードウェア アクセラレーション段階でパイプラインを構成します。