Para millones de personas sordas y con problemas de audición, las barreras de comunicación suponen un desafío significativo. Las soluciones tradicionales, como los intérpretes de lengua de signos, suelen ser limitadas. Reconociendo esta necesidad, ingenieros de la Universidad Atlántica de Florida han desarrollado un innovador sistema impulsado por inteligencia artificial diseñado para traducir los gestos del Lenguaje de Señas Americano (ASL) a texto, ofreciendo una solución de comunicación accesible y en tiempo real.
Para millones de personas en todo el mundo, las barreras de comunicación plantean desafíos diarios debido a las deficiencias auditivas. Las soluciones tradicionales, como los intérpretes, a menudo están limitadas por la disponibilidad y el costo, lo que crea una necesidad significativa de tecnologías de asistencia accesibles.
Para abordar esta necesidad, investigadores de la Universidad Atlántica de Florida (FAU) han desarrollado un sistema de interpretación en tiempo real del Lenguaje de Señas Americano (ASL). Este sistema aprovecha la inteligencia artificial (IA) para cerrar la brecha de comunicación para la comunidad sorda y con problemas de audición.
El núcleo del sistema reside en su capacidad para reconocer con precisión las letras del alfabeto ASL en tiempo real. Esto se logra combinando las capacidades de detección de objetos de YOLOv11 con el seguimiento preciso de manos de MediaPipe. Esta combinación permite al sistema traducir los gestos de ASL en texto, facilitando la comunicación interactiva.
Un desafío importante en los sistemas de reconocimiento de ASL es distinguir los gestos visualmente similares. Por ejemplo, diferenciar entre las formas de las manos para “A” y “T” o “M” y “N” es difícil. El sistema FAU supera esto utilizando el aprendizaje profundo avanzado y el seguimiento de puntos clave de la mano.
El sistema utiliza una cámara web integrada como sensor sin contacto para capturar datos visuales en vivo. MediaPipe luego identifica 21 puntos clave en cada mano, creando un mapa esquelético. YOLOv11 utiliza este mapa esquelético para detectar y clasificar las letras ASL con alta precisión.
El rendimiento en tiempo real del sistema es una ventaja clave. Según Bader Alsharif, el primer autor del estudio, toda la tubería de reconocimiento funciona sin problemas en tiempo real, independientemente de las diferentes condiciones de iluminación o fondos. Esta capacidad en tiempo real es crucial para las aplicaciones prácticas.
La efectividad del sistema está respaldada por impresionantes resultados de precisión. El estudio, publicado en la revista Sensors, logró una precisión del 98,2% (Precisión Media Promedio, mAP@0.5) con una latencia mínima. Este alto nivel de precisión lo hace adecuado para aplicaciones que requieren un rendimiento rápido y confiable.
El Conjunto de Datos de Gestos de Manos del Alfabeto ASL, que comprende 130.000 imágenes, es crucial para la robustez del sistema. El conjunto de datos incluye una amplia variedad de gestos de manos capturados en diversas condiciones, incluidos diferentes entornos de iluminación, fondos y ángulos de las manos. Esta diversidad permite que los modelos generalicen mejor.
Cada imagen del conjunto de datos está cuidadosamente anotada con 21 puntos clave que resaltan las estructuras esenciales de la mano. Estas anotaciones proporcionan un mapa esquelético de la mano, lo que permite al sistema distinguir entre gestos similares con una precisión excepcional.
El proyecto ejemplifica cómo la IA puede servir a la humanidad. Imad Mahgoub, coautor del estudio, enfatiza que el sistema logra una alta precisión y, al mismo tiempo, sigue siendo accesible y práctico para el uso diario. Esto representa un paso significativo hacia las tecnologías de comunicación inclusivas.
El impacto de esta tecnología es significativo, considerando la prevalencia de las deficiencias auditivas. La población sorda en los EE. UU. es de aproximadamente 11 millones, o el 3,6% de la población, y aproximadamente el 15% de los adultos estadounidenses (37,5 millones) experimentan dificultades auditivas.
La investigación tiene el potencial de transformar la comunicación para la comunidad sorda. Mohammad Ilyas, coautor, destaca que la herramienta impulsada por IA traduce los gestos de ASL en texto, lo que permite interacciones más fluidas en varios entornos. Esto contribuye a romper las barreras para la población sorda y con problemas de audición.
El trabajo futuro se centrará en ampliar las capacidades del sistema. El objetivo es interpretar oraciones completas en ASL, lo que permitirá una comunicación más natural y fluida. Esto permitirá a los usuarios transmitir pensamientos y frases completas sin problemas.
El impacto del sistema se extiende más allá de la accesibilidad. Stella Batalama, decana de la Facultad de Ingeniería y Ciencias de la Computación, enfatiza su papel en el fomento de una sociedad más inclusiva. Esta tecnología apoya una mayor integración social y ayuda a crear una comunidad más conectada y empática.
Ingenieros de la Universidad Atlántica de Florida han creado un sistema de interpretación en tiempo real de LSA con una precisión del 98.2%, combinando YOLOv11 y MediaPipe, superando limitaciones previas en el reconocimiento de LSA. Utilizando un conjunto de datos exhaustivo y hardware estándar, el sistema traduce gestos de LSA a texto, ofreciendo una solución escalable y accesible para mejorar la comunicación de la comunidad sorda y con problemas de audición. El trabajo futuro se centrará en la interpretación de oraciones completas. Este avance demuestra el potencial de la IA para fomentar una sociedad más inclusiva, resaltando la necesidad urgente de innovación continua en tecnologías de asistencia que empoderen a las comunidades marginadas.
Leave a Reply