El equipo de investigadores de Inteligencia Artificial de Google ha presentado una función para móviles Androidque a través de la cámara percibe los movimientos y las formas de las manos por medio del aprendizaje automático. El sistema está basado en un rastreo de la palma y los dedos de la mano para luego detectar 21 puntos clave 3D de un solo fotograma. Google ha empleado la plataforma de código abierto MediaPipe para desarrollar el proyecto de percepción y según la empresa el modelo podría "formar la base para la comprensión del lenguaje de signos", así como otras funciones orientadas a la realidad aumentada en las que las manos se superponen al contenido digital. El sistema está basado en tres partes distintas: un detector de palmas que recorta la forma de la mano del fotograma, un modelo que detecta puntos de referencia en 3D de la imagen recortada y un detector de gestos que clasifica los puntos claves configurados previamente en un set de gesto. Para detectar la forma de la palma de la mano emplean un modelo de detección de disparo único llamado BlazePalm, que trabaja en una variedad de tamaños de manos y tiene un alcance de gran escala en relación con el marco de la imagen. Además, es capaz de detectar manos tapadas o sobrepuestas y tiene una precisión del 95,7 por ciento, superando en casi diez puntos a los sistemas anteriores. En segundo lugar, tras la detección de la palma, el modelo de puntos de referencia localiza los 21 puntos clave 3D de nudillos y dedos dentro de las distintas regiones de la mano. Con estos puntos obtiene una representación de postura interna de la mano y funciona incluso con gestos parcialmente visibles y dedos autotapados. Por último, el modelo de aplica un algoritmo para descifrar los gestos que está realizando la mano. Primero se detecta la posición de los dedos: recto o doblado. Luego, comparan el conjunto de dedos con conjuntos de gestos predeterminados con el fin de identificar el gesto en cuestión. Por ahora el modelo incluye gestos de una variedad de culturas y varios signos de manos como los números, 'el dedo hacia arriba', 'OK', 'yeah', 'rock y el gesto de 'Spiderman'. DINERO EN IMAGEN con Información de DPA

FOTO: PxHere