Capturando movimientos complejos de manos e interacciones con objetos utilizando guantes textiles inteligentes estirables alimentados por aprendizaje automático
En el mundo de la tecnología, la capacidad de rastrear con precisión los movimientos hábiles de las manos en tiempo real tiene amplias aplicaciones en la interacción humano-computadora, el metaverso, la robótica y la tele-salud. Sin embargo, capturar movimientos realistas de las manos es una tarea desafiante debido al gran número de articulaciones y grados de libertad involucrados. Métodos tradicionales como las cámaras de captura de movimiento a menudo vienen con limitaciones como la oclusión y restricciones de campo de visión.
Un reciente avance en este campo proviene de un equipo de investigadores liderado por Tashakori et al., quienes han desarrollado guantes textiles inteligentes estirables y lavables incrustados con hilos sensores helicoidales y unidades de medición inercial. Estos hilos sensores cuentan con un alto rango dinámico, respondiendo a tensiones tan bajas como 0.005% y tan altas como 155%, manteniendo la estabilidad incluso después de extensos ciclos de uso y lavado.
El equipo utilizó un enfoque de aprendizaje automático de múltiples etapas para lograr un seguimiento dinámico preciso de los movimientos articulados de la mano y los dedos. Su novedosa técnica de aumento de datos mejoró la robustez de las variaciones de ruido en los sensores, resultando en errores cuadráticos medios de estimación del ángulo articular de 1.21 grados y 1.45 grados en validaciones cruzadas intra e inter participantes, respectivamente. Este nivel de precisión rivaliza con el de las costosas cámaras de captura de movimiento sin las limitaciones asociadas.
Los guantes inteligentes estirables han demostrado un seguimiento preciso de los movimientos hábiles de las manos durante las interacciones con objetos, abriendo así nuevas posibilidades para aplicaciones. Por ejemplo, los usuarios pueden escribir con precisión en un teclado de papel simulado, reconocer gestos dinámicos y estáticos complejos adaptados de la Lengua de Señas Americana e identificar objetos basados en su forma y rigidez.
Mientras que los métodos anteriores para capturar y detectar movimientos de manos y dedos han dependido de la visión por computadora, los sistemas de captura de movimiento y dispositivos portátiles, ninguno ha ofrecido el mismo nivel de precisión, practicidad y robustez que los guantes textiles inteligentes desarrollados por Tashakori et al. Además, los altos costos asociados con estos sistemas complejos han limitado su adopción en el mundo real.
Los guantes textiles inteligentes contienen hilos sensores helicoidales estirables, interconexiones y unidades de medición inercial que pueden detectar ángulos articulares y presión aplicada a objetos por los dedos y la palma de la mano. Los datos de los sensores pueden ser transmitidos a través de comunicación Bluetooth a una computadora o una aplicación de teléfono inteligente. El equipo también desarrolló un algoritmo de aprendizaje automático, GlovePoseML, que fue entrenado para estimar los ángulos articulares con una precisión notable.
En aplicaciones prácticas, los guantes inteligentes pudieron detectar movimientos de manos y dedos, escribir en un teclado simulado, predecir letras escritas e identificar 34 objetos distintos basados en su forma y rigidez al ser sujetados. Además, los guantes tuvieron éxito en detectar poses complejas de dedos y muñecas, especialmente en el reconocimiento de gestos asociados con la Lengua de Señas Americana.
La capacidad de rastrear movimientos de manos y dedos con tanta precisión abre un sinfín de posibilidades para la interacción humano-computadora y humano-robot. Por ejemplo, los guantes inteligentes podrían usarse para interactuar con objetos en entornos virtuales o permitir el control telerrobótico de diversos sistemas. Realizar pruebas adicionales para la durabilidad y confiabilidad de estos guantes inteligentes será esencial para garantizar su viabilidad y efectividad en aplicaciones del mundo real
