Segmentación a nivel de píxeles para navegación y percepción con latencia 40 veces menor
Detecte obstáculos y rutas de grano fino a partir de imágenes en tiempo real con los procesadores equipados con NPU C7™
Descripción general de la aplicación
El mundo real contiene escenarios complejos, por los que robots, drones y vehículos deben navegar de forma segura y eficiente. Comprender este escenario requiere una visión detallada de los caminos y obstáculos.
Los modelos de IA pueden identificar su entorno a nivel de píxeles mediante modelos de redes neuronales de segmentación semántica. Otras aplicaciones como la detección de defectos, la obtención de imágenes médicas y la agricultura también pueden beneficiarse de los contornos precisos de anomalías y objetos significativos que proporcionan los modelos de segmentación.
Se necesita una potencia de procesamiento sustancial para ejecutar estos complejos modelos de IA en la periferia, lo que suele requerir aceleradores como la NPU C7™ para habilitar la toma de decisiones en tiempo real.
Inicio de la evaluación
Recopilación de datos
Las muestras de datos serán imágenes recopiladas en cámaras similares a las cámaras que se utilizan en la aplicación de producción. Las imágenes se pueden recopilar manualmente o a través de herramientas como Edge AI Studio. Las imágenes se etiquetarán mediante máscaras de píxeles o polígonos que delinean los contornos de los objetos, y pueden formar figuras complejas.
Un buen conjunto de datos contendrá una variedad de escenas realistas y combinaciones de los objetos a reconocer. Es común tener una clase genérica de “fondo” que engloba todo aquello que no es importante rastrear. En la mayoría de las escenas del mundo real, suele haber muchos casos en los que los objetos se solapan o se ocultan parcialmente entre sí, pero es posible que en aplicaciones como el diagnóstico por imágenes o la detección de defectos no se den estas situaciones. Para entrenar un modelo robusto, debe haber muchas variaciones en las posiciones y orientaciones de los objetos, así como diferentes condiciones de iluminación o climáticas.
Evaluación de la calidad de los datos
Los datos y las etiquetas deben estar bien alineados, de modo que los objetos que se reconocerán queden bien cubiertos por las máscaras o los polígonos. Es útil visualizar estas etiquetas sobre la imagen para identificar áreas que no están cubiertas o donde la etiqueta se extiende mucho más allá de los objetos. Las etiquetas ruidosas dificultarán que la red neuronal aprenda los patrones visuales correctos.
El aumento del conjunto de datos es una buena manera de aumentar el tamaño y las variaciones capturadas por el conjunto de datos. Los “aumentos” artificiales modifican la imagen para crear múltiples copias y ampliar el conjunto de datos. Sin embargo, algunas modificaciones, como girar o cambiar el tamaño de la imagen, requerirán que la propia etiqueta se modifique de la misma manera.
La siguiente imagen muestra Edge AI Studio para un modelo de segmentación en los datos del conjunto de datos de segmentación tiscapes2017. Este conjunto de datos incluye cajas delimitadoras de detección de objetos y máscaras de segmentación. La herramienta muestra ambos tipos de anotaciones, pero la máscara que delimita a las personas, los letreros y los vehículos de la imagen es la anotación que se utiliza para entrenar el modelo de segmentación.
Construya y entrene a su modelo
CCStudio™ Edge AI Studio y edgeai-modelmaker incluyen varios modelos de segmentación listos para entrenar con su conjunto de datos personalizado. Si se utiliza edgeai-modelmaker, el conjunto de datos personalizado utilizará el formato COCO con etiquetas de segmentación.
De lo contrario, herramientas como PyTorch y Tensorflow se pueden utilizar para entrenar modelos bien establecidos o implementar modelos completamente personalizados.
Encuentre el modelo adecuado para sus necesidades
Elegir el modelo correcto es una compensación entre exactitud y latencia. Modelos como Deeplabv3 se ejecutan de manera eficiente en la NPU C7, y en la herramienta de selección de modelos se pueden consultar puntos de referencia representativos.
Implementación de su modelo
La implementación del modelo requiere que el modelo se compile previamente para el acelerador de hardware de destino. Con herramientas como Edge AI Studio y edgeai-modelmaker la compilación es automática. De lo contrario, compilar modelos requerirá un paso separado a través de paquetes de software como edgeai-tidl-tools en el GitHub de TI mediante un flujo de incorporación de su propio modelo.
Los artefactos modelo se implementan a través de tiempos de ejecución como ONNX Runtime, LiteRT y TVM mediante TI Deep Learning (TIDL) como backend de hardware para la aceleración.
La implementación del modelo en una aplicación de visión de extremo a extremo se logra con edgeai-gst-apps, que compone la tubería con múltiples etapas de aceleración de hardware para el preprocesamiento y posprocesamiento de la imagen, además de acelerar el propio modelo de IA.
Elección del dispositivo adecuado para usted
La selección del dispositivo dependerá del nivel de rendimiento de IA necesario y del rendimiento de la cámara (resolución y velocidad de fotogramas). Consulte la siguiente tabla para obtener una comparación de rendimiento en los diferentes dispositivos. Nota: Para obtener puntos de referencia completos de estos dispositivos, utilice la herramienta de selección de modelos disponible en Edge AI Studio.
Los puntos de referencia que se muestran en la tabla siguiente se obtuvieron utilizando la versión 10.1 del SDK y demuestran que el AM62A, con 2 TOPS, supera en rendimiento a las soluciones basadas únicamente en CPU en más de 40 veces.
| Número de producto | Núcleo de procesamiento | NPU disponible | Puntos de referencia de segmentación semántica | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
Rendimiento de segmentación de DeepLabv3 V (512x512) |
FPN Lite con rendimiento regnetx-800 backbone (512x512) |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| AM62P | 4x Arm® | sin NPU | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| AM62A7 | 4x Arm® | 2 TOPS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| TDA4VE-Q1 | 4x Arm® | 8 TOPS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| FPS (fotogramas por segundo) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Todo el hardware, software y recursos que necesitará para comenzar
Hardware
SK-AM62A-LP
El AM62A es el dispositivo acelerado por IA de menor costo de la familia AM6xA y es el más adecuado para la evaluación. Se puede utilizar una cámara USB genérica o una cámara web para la captura de imágenes y la evaluación de modelos en datos en vivo.
Herramientas de desarrollo y software
PROCESSOR-SDK-LINUX-AM62A
El SDK del procesador Edge AI está basado en Linux e incluye los componentes de software necesarios para ejecutar un modelo compilado con aceleración de hardware. Otros procesadores acelerados Edge AI pueden sustituirse por AM62A.
CCStudio™ Edge AI Studio
Esta herramienta contiene herramientas para entrenar, compilar e implementar un modelo en los procesadores Edge AI de TI. Una herramienta de selección de modelos está disponible para ver los puntos de referencia pregenerados de modelos populares.
Herramientas de línea de comandos
Herramientas para dispositivos microprocesadores compatibles con Linux y TIDL. La solución Edge AI de TI simplifica todo el ciclo de vida del producto del desarrollo e implementación de DNN, ya que proporciona un amplio conjunto de herramientas y bibliotecas optimizadas.
Industrial | Visión
Detecte personas en una amplia variedad de escenas con IA basada en visión, a más de 120 FPS mediante aceleradores de IA.
Industrial | Visión
Encuentre y localice objetos específicos y personas en tiempo real a altas velocidades de fotogramas con procesadores acelerados por AI y software estándar de la industria.