Vista de pájaro (BEV) en sistemas avanzados de asistencia al conductor (ADAS) L2/L2+ 

Los sistemas BEV de fusión de sensores para aplicaciones L2/L2+ requieren configuraciones de varias cámaras calibradas con cobertura total alrededor del vehículo. 

La recopilación de datos debe abarcar diversas situaciones de conducción, incluidas las diferentes condiciones de iluminación (diurna, nocturna, con sombras), las condiciones climáticas, los tipos de carreteras, las densidades de tráfico y la presencia de diversos vehículos, peatones y obstáculos relevantes para la conducción autónoma.

Los datos de la nube de puntos de lidar sirven como verdad fundamental para validar objetos detectados en la representación BEV durante el desarrollo y la evaluación; no son una entrada necesaria en el conducto de percepción implementado. Si se utiliza la verdad fundamental de lidar, la captura sincronizada de los fotogramas de la cámara y los escaneos de lidar es esencial para una validación precisa. 

Para los sistemas BEV mejorados con IA con detección simultánea de objetos, los datos de entrenamiento etiquetados deben identificar vehículos, peatones, ciclistas, marcas de carril, límites de la carretera y otras características relevantes críticas para las funciones de conducción autónoma.

En el Model Zoo de TI hay disponibles modelos de BEV previamente entrenados que están listos para su evaluación e implementación. 

Es posible que los desarrolladores también quieran preparar su propio modelo de BEV. En ese caso, se podría aprovechar edgeai-mmdetection3d, un marco de trabajo unificado para el desarrollo, el entrenamiento y la evaluación de varios modelos de detección 3D de BEV, basado en mmdetection3d. Como alternativa, los desarrolladores avanzados pueden optar por utilizar sus propios entornos de entrenamiento personalizados. 

Independientemente de cómo se entrene el modelo, antes de la implementación se debe compilar para TIDL a fin de ejecutarse en la NPU C7™. Los modelos en formatos ONNX o LiteRT se pueden compilar con edgeai-tidl-tools, que optimizará la red para los aceleradores de aprendizaje profundo de TI.

La selección del modelo debe equilibrar la exactitud de detección con las restricciones de latencia. El Model Zoo de TI y las herramientas de referencia proporcionan datos de rendimiento para guiar la selección en función del hardware de destino.

El modelo que se utilizó en la demostración de FastBEV de TI emplea una arquitectura de red troncal ResNet-18 con FPN y se basa en el modelo Fast-BEV de código abierto, que se diseñó específicamente para ser capaz de realizar una percepción BEV más rápida en los chips integrados en el vehículo. El modelo se entrenó y validó con el conjunto de datos nuScenes.

La demostración de FastBEV muestra la implementación típica de un modelo BEV mediante el marco de trabajo Vision Apps incluido como parte del SDK para los procesadores TDA. 

Conducto de percepción central: el conducto basado en OpenVX integra la captura de 6 cámaras, el escalado de hardware de MSC, el preprocesamiento de A72, la inferencia TIDL en la NPU C7™ y el posprocesamiento de A72.

Integración de la verdad fundamental de lidar: además del conducto principal, los datos de la nube de puntos del lidar se ingieren en paralelo y se superponen en la salida BEV como referencia espacial. Esto permite a los desarrolladores comparar visualmente los objetos detectados con una verdad fundamental durante la evaluación.

Características adicionales del conducto: la demostración también incluye la supervisión del rendimiento en tiempo real y una visualización de doble vista que representa los objetos detectados tanto en la imagen de la cámara individual como en las perspectivas BEV de arriba hacia abajo.