Anwendungsübersicht
Die Vogelperspektive (Bird's Eye View, BEV) ist eine der Grundlagen für L2/L2+-Sensorfusionssysteme in Anwendungen für autonomes Fahren. Moderne fortschrittliche Fahrerassistenzsysteme (Advanced Driver Assistance Systems, ADAS) und autonome Fahrzeuge erfordern ein umfassendes Verständnis der Fahrzeugumgebung. Herkömmliche Ansätze führen für jede Kamera separate Wahrnehmungs-Pipelines aus und führen die Ergebnisse nach der Schlussfolgerung zusammen. Dieser Prozess verlängert die Latenz, erhöht den Speicheraufwand und kann auch Inkonsistenzen an Kameragrenzen hervorrufen. Der BEV-Ansatz vereint stattdessen mehrere Kameraeingänge in einer einzigen einheitlichen räumlichen Darstellung vor der Objekterkennung. Dies ermöglicht eine einzelne Schlussfolgerung eines neuronalen Netzwerks mit geringeren Gesamtsystemkosten.
Echtzeit-BEV erfordert eine erhebliche Verarbeitungsleistung, um Multi-Kamera-Eingänge zu verarbeiten, geometrische Transformationen durchzuführen, die Schlussfolgerung eines neuronalen Netzwerks zur Objekterkennung auszuführen und eine kurze Latenzzeit aufrechtzuerhalten. TDA-Prozessoren wurden speziell für diese Arten von Multi-Kamera-Workloads entwickelt und sind mit der C7™-NPU und den Schnittstellen ausgestattet, die zur Implementierung von BEV mit hoher Leistung erforderlich sind.
Das Prozessor-SDK enthält die FastBEV-Demo, die als erster Schritt während der Evaluierung sofort einsatzbereit ausgeführt werden kann, bevor eine benutzerdefinierte Lösung entwickelt wird. Die Demo ermöglicht die Fusion der Bild-Feeds von 6 Kameras und führt gleichzeitig Objekterkennung durch, was eine einheitliche "Vogelperspektive" schafft. Wichtig ist, dass die BEV-Wahrnehmung hier rein auf Vision basiert. Lidar-Punktwolkendaten werden ausschließlich als Referenz für die Ground Truth zur Validierung erkannter Objekte verwendet, nicht als Live-Eingabe in die Wahrnehmungs-Pipeline.
Evaluierung zum Einstieg
Datensammlung
Sensorfusion-BEV-Systeme für L2/L2+-Anwendungen erfordern kalibrierte Konfigurationen mit Multi-Kamera-Einrichtungen mit voller Abdeckung rund um das Fahrzeug.
Die Datenerhebung sollte verschiedene Fahrszenarien abdecken, darunter unterschiedliche Lichtverhältnisse (Tag, Nacht, Schatten), Witterungsbedingungen, Straßentypen, Verkehrsdichten und das Vorhandensein verschiedener Fahrzeuge, Fußgängerinnen und Fußgänger sowie Hindernisse, die für autonomes Fahren relevant sind.
Lidar-Punktwolkendaten dienen als Ground Truth für die Validierung erkannter Objekte in der BEV-Darstellung während der Entwicklung und Evaluierung. Sie sind keine erforderliche Eingabe in die bereitgestellte Wahrnehmungs-Pipeline. Wenn Lidar-Ground-Truth verwendet wird, ist eine synchronisierte Erfassung von Kamera-Frames und Lidar-Scans für eine genaue Validierung unerlässlich.
Bei KI-optimierten BEV-Systemen mit gleichzeitiger Objekterkennung sollten beschriftete Schulungsdaten Fahrzeuge, Fußgängerinnen und Fußgänger, Radfahrerinnen und Radfahrer, Fahrbahnmarkierungen, Straßengrenzen sowie andere für autonomes Fahren relevante Merkmale identifizieren.
Bewertung der Datenqualität
Die Genauigkeit der Kamerakalibrierung ist entscheidend für die Transformation der Perspektive-zu-BEV-Ansicht. Dies beruht auf zwei Kategorien von Parametern:
Intrinsische Parameter: Beschreiben die internen optischen Eigenschaften jedes Kamerasensors und jedes Objektivs. Dazu gehören beispielsweise Brennweite, Bildmittelpunkt und Verzerrungskoeffizienten. Diese bestimmen, wie ein 3D-Punkt in der Welt auf eine 2D-Bildebene innerhalb einer einzigen Kamera projiziert wird.
Extrinsische Parameter: Beschreiben die Position und Ausrichtung jeder Kamera in Relation zu einem gemeinsamen BEV-Koordinatensystem.
Beide sind von grundlegender Bedeutung für die genaue Zuordnung von Tiefe und räumlicher Position von 2D-Bild-Frames. Fehler in beiden werden direkt in die räumliche Genauigkeit der erkannten Objekte in der BEV-Darstellung übertragen.
Erstellen und trainieren Sie Ihr Modell
Vortrainierte BEV-Modelle sind im TI Model Zoo erhältlich und bereit zur Evaluierung und Bereitstellung.
Entwickelnde können auch ein eigenes BEV-Modell vorbereiten. Wenn sie dies tun, könnten sie edgeai-mmdetection3d nutzen, ein einheitliches Framework für die Entwicklung, das Training und die Evaluierung verschiedener BEV-3D-Erkennungsmodelle, das auf mmdetection3d basiert. Alternativ können fortgeschrittene Entwickelnde ihre eigenen benutzerdefinierten Trainingsumgebungen verwenden.
Unabhängig davon, wie das Modell trainiert wird, muss es vor der Bereitstellung kompiliert werden, damit TIDL auf der C7™-NPU ausgeführt werden kann. Modelle im ONNX- oder LiteRT-Format können mit edgeai-tidl-Tools kompiliert werden, um das Netzwerk für die Deep-Learning-Beschleuniger von TI zu optimieren.
Finden Sie das richtige Modell für Ihre Anforderungen
Die Modellauswahl sollte die Erkennungsgenauigkeit mit den Latenzbedingungen ausgleichen. Der TI Model Zoo und die Benchmark-Tools liefern Leistungsdaten, um die Auswahl auf der Grundlage der Zielhardware zu erleichtern.
Das in der FastBEV-Demo von TI verwendete Modell verwendet eine ResNet-18-Backbone- + FPN-Architektur und basiert auf dem Open-Source-Fast-BEV-Modell, das speziell dafür entwickelt wurde, eine schnellere BEV-Wahrnehmung auf den Chips im Fahrzeug zu ermöglichen. Das Modell wurde mit dem nuScenes-Datensatz trainiert und validiert.
Implementierung Ihres Modells
Die FastBEV-Demo zeigt die typische Bereitstellung eines BEV-Modells unter Verwendung des Vision-Apps-Frameworks, das als Teil des SDK für TDA-Prozessoren verfügbar ist.
Zentrale Wahrnehmungs-Pipeline: Die OpenVX-basierte Pipeline integriert Erfassung von 6 Kameras, MSC-Hardwareskalierung, A72-Vorverarbeitung, TIDL-Inferenz auf C7™-NPU und A72-Nachverarbeitung.
Integration von Lidar-Ground-Truth: Zusätzlich zur Core-Pipeline werden die Lidar-Punktwolkendaten parallel aufgenommen und als räumliche Referenz auf den BEV-Ausgang überlagert. Dadurch können Entwickelnde erkannte Objekte während der Auswertung visuell mit einer Ground Truth vergleichen.
Zusätzliche Pipeline-Funktionen: Die Demo enthält außerdem eine Leistungsüberwachung in Echtzeit und ein Display mit Zweifachansicht für das Rendering erkannter Objekte sowohl im individuellen Kamerabild als auch in den BEV-Perspektiven von oben.
Finden Sie den richtigen Baustein für Ihre Zwecke
Die Auswahl der Bausteine für L2/L2+-Systeme mit Vogelperspektive (Bird's Eye View, BEV) hängt von der Anzahl der Kameras, der Auflösung und den Anforderungen an die Bildrate und den gleichzeitigen Anforderungen an die KI-Verarbeitung ab. Diese Anwendungen profitieren von Prozessoren der TDA4x-Produktfamilie für den Automobilbereich mit hoher Speicherbandbreite, dedizierten Vision-Beschleunigern (VPAC), mehreren C7™-NPU-Kernen für KI-Beschleunigung und der Möglichkeit, Netzwerke für optimale Leistung auf Kerne aufzuteilen.
| Produktnummer | Verarbeitungskern | NPU-Leistung | Vogelperspektiven-Benchmarks | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
fastbev_plus_nms_r18_f1 (256x704) Leistung |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| TDA4VH-Q1 | 8x Arm®-Cortex®-A72 + 4x C7™-NPU | 32 TOPS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| TDA4VPE-Q1 | 4x Arm®-Cortex®-A72 + 2x C7™-NPU | 16 TOPS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| TDA4VL-Q1 | 2x Arm®-Cortex®-A72 + 1x C7™-NPU | 8 TOPS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
FPS (Frames per second, Bilder pro Sekunde)
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Alles an Hardware, Software und Ressourcen, was Sie zum Einstieg benötigen
Hardware
TDA4VH-Q1
Das TDA4VH ist ein leistungsstarkes, mit funktionaler Sicherheit konformes System-on-Chip (SoC) für fortschrittliche ADAS, autonome Fahrzeuge und Robotik. Es verfügt über 32 TOPS KI-Leistung, Vierfach-C7x-DSPs, acht Arm-Cortex-A72-Kerne, dedizierte Vision-Beschleuniger und Highspeed-Netzwerke.
J784S4XEVM
Das J784S4-Evaluierungsmodul (EVM) ist eine Plattform zur Evaluierung des TDA4VH-Q1-SoC für Vision-Analytik- und Netzwerkanwendungen in Automobil- und Industrieanwendungen. Diese Prozessoren eignen sich besonders gut für Anwendungen zur Domänensteuerung mit mehreren Kameras, Sensorfusion und erweiterten Fahrerassistenzsystemen (ADAS).
Software- und Entwicklungstools
Befehlszeilentools
Befehlszeilentools wie edgeai-modelmaker für das Training und edgeai-tidl-Tools für benutzerdefinierte Modelle finden Sie auf den Hauptseiten für MPU-Entwicklungstools auf der TI GitHub.
PROCESSOR-SDK-J784S4
Prozessor-SDK-RTOS und Prozessor-SDK-Linux können zusammen verwendet werden, um verschiedene Anwendungen in Robotik, Vision und fortschrittliche Fahrerassistenzsysteme (Advanced Driver-Assistance Systems, ADAS) für die Automobilindustrie zu implementieren.
CCStudio™ Edge AI Studio
Dieses Tool enthält Tools für Training, Kompilierung und Bereitstellung eines Modells für Edge-KI-Prozessoren von TI. Ein Modellauswahltool ist verfügbar, um vorgenerierte Benchmarks gängiger Modelle anzuzeigen.
Unterstützende Ressourcen
Das im Prozessor-SDK enthaltene Vision-Apps-Framework stellt die FastBEV-Demo als Referenzimplementierung zur Verfügung. Dieses Benutzerhandbuch bietet einen kurzen Überblick und Anweisungen zur Ausführung der FastBEV-Demo.
Entwicklung, Training und Optimierung von 3D-Erkennungsmodellen mit Vogelperspektive für TI-Bausteine.
Ein einheitliches Framework für die Entwicklung, das Training und die Evaluierung verschiedener BEV-3D-Erkennungsmodelle, das auf mmdetection3d basiert.
Industrie | Vision
Erkennen und lokalisieren Sie Objekte oder Personen in Echtzeit mit hoher Bildrate dank KI-beschleunigten Prozessoren und Software nach Industriestandard
Industrie | Vision
Erkennen von feinkörnigen Hindernissen und Pfaden auf Bildern in Echtzeit mit Prozessoren mit C7™-NPU