像素級分割技術，可讓導航和感知延遲降低 40 倍
利用配備 C7™ NPU 的處理器，即時偵測影像中的精細障礙物和路徑
應用概覽概述
真實世界包含複雜的場景，機器人、無人機與車輛必須安全且有效率地在其中導航。了解此場景需要路徑與障礙物的詳細視圖。
AI 模型可使用語意分割神經網路模型，在像素等級識別其周遭環境。缺陷偵測、醫學造影與農業等其他應用，同樣能受惠於分割模型所提供的有意義異常與物件之精確輪廓。
在邊緣端執行這些複雜的 AI 模型需要大量的處理能力，通常需要如 C7™ NPU 等加速器來實現即時決策。
開始評估
資料收集
資料樣品將會是透過類似於生產應用中所用攝影機收集而來的影像。影像可手動收集，或透過 Edge AI Studio 等工具收集。影像將標有像素遮罩或多邊形，這些遮罩或多邊形會描繪出物件的輪廓，並可能形成複雜的形狀。
良好的資料集將包含各種逼真場景與欲識別物件的組合。通常會有一個通用的「背景」類別，包含任何不重要、無需追蹤的事物。 針對多數真實世界的場景，應該會有許多物件彼此重疊或部分遮蔽的實例，但如醫學造影或缺陷偵測等應用，可能不會遇到這些情況。若要訓練穩健的模型，物件的位置與方向，以及不同的照明或天氣條件，都應有豐富的變化。
資料品質評估
資料與標籤應緊密對齊，使遮罩或多邊形能妥善覆蓋欲識別的物件。將這些標籤視覺化到影像上會很有幫助，可藉此尋找未被覆蓋的區域，或標籤遠超出物件範圍的區域。雜訊標籤會使神經網路更難學習正確的視覺模式。
資料集擴增是增加資料集大小與所擷取變化的一種好方法。人工「擴增」會修改影像以製作多個複本，並擴充資料集。然而，某些擴增（如旋轉與縮放影像）將需要以相同方式修改標籤本身。
下圖顯示針對 tiscapes2017 分割資料集資料之分割模型的 Edge AI Studio。此資料集包含物件偵測邊界方塊與分割遮罩。該工具會顯示兩種類型的註解，但描繪影像中人物、標誌與車輛輪廓的遮罩，才是用於分割模型訓練的註解。
構建並訓練模型
CCStudio™ Edge AI Studio 與 edgeai-modelmaker 包含數個分割模型，已準備好在您的自訂資料集上進行訓練。如果使用的是 edgeai-modelmaker，自訂資料集將使用具備分割標籤的 COCO 格式。
否則，可以使用如 Pytorch 與 Tensorflow 等工具，來訓練成熟的模型或實作完全自訂的模型。
為您的需求找出合適的模型
選擇合適的模型是在準確度與延遲之間的權衡。如 Deeplabv3 等模型可在 C7 NPU 上高效執行，且模型選擇工具中提供了具代表性的基準測試。
部署模型
部署模型前，必須先針對目標硬體加速器進行編譯。使用 Edge AI Studio 和 edgeai-modelmaker 等工具，可自動完成編譯。否則，編譯模型將需要透過 TI GitHub 上的 edgeai-tidl-tools 等軟體包，使用自帶模型流程完成單獨的步驟。
模型偽影透過 ONNX Runtime、LiteRT 和 TVM 等執行階段進行部署，並使用 TI 深度學習 (TIDL) 作為硬體後端進行加速。
要將模型部署到端對端視覺應用程式中，首先需要 edgeai-gst-apps。它除了加速 AI 模型本身之外，還透過多個階段的硬體加速來建立管線，以對影像進行預處理和後處理。
選擇適合您的裝置
裝置選擇將取決於所需的 AI 效能等級以及攝影機輸送量（解析度與影格速率）。請參閱下表，了解不同裝置間的效能比較。 附註：如需這些裝置的全面基準測試，請使用 Edge AI Studio 上提供的模型選擇工具。
下表中的基準測試是使用 SDK 10.1 版所產生，結果證明在 2TOPS 運作的 AM62A，其效能超越純 CPU 解決方案達 40x 以上。
| 產品編號 | 處理核心 | 可用的 NPU | 語意分割基準測試 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
DeepLabv3 分割 (512x512) 效能 |
具備 regnetx-800 骨幹的 FPN Lite (512x512) 效能 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| AM62P | 4x Arm® | 無 NPU | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| AM62A7 | 4x Arm® | 2 TOPS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| TDA4VE-Q1 | 4x Arm® | 8 TOPS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| FPS（每秒畫面張數） | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
開始使用所需的所有硬體、軟體與資源
硬體
SK-AM62A-LP
AM62A 是 AM6xA 系列中成本最低的 AI 加速裝置，最適合用於評估。可以使用通用的 USB 攝影機或網路攝影機對即時資料進行影像擷取和模型評估。
軟體與開發工具
PROCESSOR-SDK-LINUX-AM62A
Edge AI 處理器 SDK 基於 Linux，且包含運行已編譯模型並進行硬體加速所需的必要軟體元件。可取代 AM62A 等其他邊緣 AI 加速處理器。
CCStudio™ Edge AI Studio
該工具包含用於訓練、編譯和部署模型到 TI 邊緣 AI 處理器的工具。我們提供模型選擇工具，方便您查看預先產生的熱門模型基準測試結果。
命令列工具
適用於支援 Linux 和 TIDL 的微處理器裝置的工具。TI 的邊緣 AI 解決方案提供了一套豐富的工具和最佳化的函式庫，簡化了 DNN 開發和部署的整個產品生命週期。