Objekterkennung in Vision-Systemen mit 25-mal geringerer Latenz

Die Trainingsdaten zur Objekterkennung bestehen aus Bildern und Anmerkungen, wobei die Anmerkungen beschreiben, welche Objekte wo im Bild vorhanden sind. Die Tools von TI verwenden das MS-COCO-Format für Datensätze.

Bilder zur Objekterkennung sollten der Umgebung entsprechen, in der das Endsystem ausgeführt wird. Die Erfassung von Daten mit ähnlichen Lichtverhältnissen, Kameraobjektiven und Umgebungsschwankungen führt zu einer höheren Genauigkeit des trainierten Modells.

Die Bildqualität ist wichtig für eine hohe Genauigkeit beim Trainings-Output, und es sollte gewisse Unterschiede zwischen den Daten geben. Die zu erkennenden Objekte sollten auf verschiedene Weise dargestellt werden, z. B. durch Drehen des Objekts, durch Heranführen oder Entfernen von der Kamera oder durch absichtliches Verdecken eines Teils des Objekts, sodass es nicht vollständig dargestellt wird. Eine größere Variation der Schulungsdaten stellt sicher, dass Ihr Modell vergleichbare Abweichungen auch in der realen Welt bewältigen kann, obwohl dies nicht unbedingt erforderlich ist.

Einige Dutzend Bilder pro Objekttyp reichen aus, um ein relativ genaues Modell zu erstellen.

Wir stellen einen optimierten Satz von Modellen zur Feinabstimmung benutzerdefinierter Datensätze über CCStudio™ Edge AI Studio oder mit einem analogen Befehlszeilen-Tool auf dem offiziellen GitHub von TI zur Verfügung. Benutzer stellen einen Datensatz bereit und konfigurieren einige Trainingsparameter, wie die Anzahl der Epochen und die Lernrate.

Nach Abschluss des Trainings wird das Modell für die Implementierung vorbereitet, indem es für die Zielhardware kompiliert wird. Dieser Kompilierungsschritt wird sowohl in der Befehlszeile als auch in grafischen Tools automatisch verarbeitet.

Für jedes unterstützte Gerät sind mehrere Modelle verfügbar. Es muss abgewogen werden zwischen Genauigkeit und Geschwindigkeit – größere Modelle sind genauer, laufen aber langsamer. Finden Sie das richtige Modell für Ihre Anforderungen.

Für die Modellimplementierung muss das Modell zuerst kompiliert werden, um es für die Zielhardware zu optimieren. Mit Tools wie Edge AI Studio erfolgt die Kompilierung automatisch. Andernfalls erfordert die Kompilierung von Modellen einen separaten Schritt durch Softwarepakete wie edgeai-tidl-Tools auf dem GitHub von TI. 

Modellartefakte werden durch Laufzeiten wie ONNX Runtime, tensorflow-lite und TVM mit TI Deep Learning (TIDL) als Hardware-Backend zur Beschleunigung implementiert. Mit TI-Werkzeugen trainierte Modelle werden in PyTorch trainiert und als ONNX-Modelle zur Verwendung mit ONNX Runtime exportiert.

Die Implementierung des Modells in einer End-to-End-Vision-Anwendung wird mit edgeai-gst-apps erreicht, welches die Pipeline mit mehreren Stufen an Hardwarebeschleunigung für die Vor- und Nachverarbeitung des Bildes zusammensetzt und zusätzlich das KI-Modell selbst beschleunigt.