Reconocimiento en tiempo real del alfabeto de lengua de señas chilena empleando aprendizaje automático

Abstract

En Chile, existen 712.005 personas con discapacidad que tienen algún grado de pérdida de audición, de ellas se estima que 179.268 personas tendrían sordera total. La comunidad sordomuda ha sufrido problemas de inclusión debido al desconocimiento de las personas sobre las limitaciones a las cuales se pueden llegar a enfrentar. Una de las iniciativas para mejorar la integración de comunidad sordomuda ha sido la promulgación de la ley 21.303 en el año 2021, que en su artículo 26 señala la lengua de señas chilena como el lenguaje natural, originario y patrimonio intangible de las personas sordas, así como también el elemento esencial de su cultura e identidad individual y colectiva. El gobierno también ha implementado cursos de lengua de señas para estudiantes de enseñanza básica y media como plan piloto. Por otro lado, se han impulsado propuestas tecnológicas que tratan de disminuir ésta brecha. En particular, se está investigando el uso de inteligencia artificial y del aprendizaje automático para aumentar de forma significativa la masificación del conocimiento de lengua de señas y disminuir la brecha comunicacional existente entre una persona que conozca lengua de señas y otra que no. Si bien ya existen herramientas que permiten la traducción automática de lengua de señas de forma eficaz, la mayoría de ellas no se han enfocado a la lengua de señas chilena. El objetivo de este proyecto ha sido la implementación de un reconocedor automático del alfabeto de la lengua de señas chilena mediante la generación de modelo de aprendizaje automático que se ha incorporado a una aplicación móvil también desarrollada para este fin y que permite reconocer en tiempo real los gestos realizados por las personas a la cámara. Para el desarrollo del módulo de clasificación se utilizó transferencia de aprendizaje, recolectando nuestro propio conjunto de datos junto a otros obtenidos desde distintos repositorios. Logrando finalmente el desarrollo de una aplicación móvil que implementa el módulo de clasificación y logra reconocer las letras de lengua de señas chilena en tiempo real con una precisión que va desde el 80% hasta el 99% por letra.