Blog

Aug 16, 2023

Xilinx: TOPS dispersos versus densos. ¿Qué son, cuál es la diferencia y qué significa para mí?

24 de enero de 2022 Hasta hace muy poco, cualquier mención de TOPS siempre se refería a TOPS densos. Sin embargo, con el reciente impulso para soportar la compresión cero en matrices dispersas, el término TOPS dispersas ha

24 de enero de 2022

Hasta hace muy poco, cualquier mención de TOPS siempre se refería a TOPS densos. Sin embargo, con el reciente impulso para soportar la compresión cero en matrices dispersas, ha aparecido el término TOPS dispersos. ¿Cuál es la diferencia entre TOPS densos y TOPS dispersos? ¿Y por qué debería importarle la escasez? Profundicemos en estos temas.

La Inteligencia Artificial (IA) depende en gran medida del Aprendizaje Automático (ML), y el ML se realiza casi en su totalidad multiplicando matrices. Una matriz puede representar un objeto, donde los valores distintos de cero se refieren a píxeles en una imagen, por ejemplo, y los valores cero representan espacios en blanco. Estos valores cero se pueden comprimir o eliminar, y esa compresión reduce la cantidad de operaciones necesarias para multiplicar dos matrices. La compresión y eliminación de estos valores cero se llama escasez.

Tera-Operaciones por segundo o TOPS es un cálculo rudimentario en el que simplemente evalúa la cantidad de operaciones que su sistema puede calcular. TOPS se puede determinar multiplicando el número de operaciones por segundo por la frecuencia de reloj del sistema. Por ejemplo, un dispositivo que puede realizar 512 operaciones de multiplicación y acumulación (MAC) por segundo funcionando a 1 GHz tiene TOPS de 512 x 1 GHz x 2 = 1024 TOPS. Este número representa TOPS densos.

El número anterior se calculó sin tener en cuenta la mejora en el rendimiento que se puede lograr si se comprimen los valores cero en las matrices. Si se elimina la mitad de los ceros, se reduce el número de operaciones innecesarias en un 50 %, lo que se traduce en una mejora del rendimiento del doble. Esta es la definición de TOPS dispersos. Una matriz que ha sido comprimida para eliminar valores cero es una matriz dispersa, mientras que una matriz con valores cero y distintos de cero es una matriz densa.

La dispersión es poderosa porque, en teoría, puede mejorar el rendimiento del sistema hasta 2 veces. Sin embargo, es importante entender la diferencia entre TOPS dispersos y TOPS densos. Al comparar sistemas o dispositivos, asegúrese de no caer en la trampa de comparar TOPS densos con TOPS dispersos. Además, la mejora teórica del rendimiento normalmente no se puede implementar en un sistema práctico, por lo que cualquier afirmación de rendimiento se debe tomar con cautela. El uso de redes de aprendizaje automático como ResNet50, Yolov3, MobileNet, etc. revela mucho más sobre el rendimiento de cualquier chip de IA que TOPS.

Resultados con tamaño de lote = 18, precisión INT8

El soporte de dispersión es una de las características clave de los motores de inteligencia artificial para aprendizaje automático (AIE-ML) de Xilinx, disponibles en las plataformas de aceleración informática adaptativa (ACAP) Versal® AI Edge y Versal AI Core.

Los números TOPS proporcionados para la serie Versal AI Edge en la guía de selección de productos y toda la garantía asociada utilizan TOPS densos. Aquí hay una estimación de los TOPS escasos que se pueden lograr en cada uno de los dispositivos de la serie Versal AI Edge:

Únase al programa de acceso temprano si desea obtener más información sobre el rendimiento de la IA con la serie Versal AI Edge. Comuníquese con su representante local de Xilinx o comuníquese con ventas para comenzar.

Archivos adjuntos

Descargo de responsabilidad

Xilinx Inc.publicó este contenido en24 enero 2022 y es el único responsable de la información contenida en el mismo. Distribuido por Público, sin editar ni alterar, en24 de enero de 2022 16:13:01 UTC.