Abstract:
RESUMEN: Las personas invidentes y débiles visuales presentan desventajas en
interacción social con respecto a las personas videntes, ya que gran
parte de la información de una interacción social es del tipo no-verbal.
Durante las últimas décadas, centros de investigación y compañías han
desarrollado sistemas portables de apoyo para personas invidentes en áreas
como movilidad, orientación y educación. Sin embargo, ha habido pocos
desarrollos enfocados en mejorar la interacción social de personas invidentes.
Esta tesis introduce un sistema de asistencia en interacción social para
personas invidentes. La tesis contribuye en cuatro importantes áreas de la
visión por computadora y tecnologías de asistencia. La primera contribución
es el desarrollo de algoritmos de visión para detectar gestos de la cabeza
de un interlocutor de manera robusta a partir de video tomado de cámaras
portables. La diferencia principal con respecto al estado del arte es el hecho
de poder detectar gestos sin importar la presencia de movimiento de la
cámara, debido a una etapa de estabilización. La segunda contribución es
la recolección de tres bases de datos sobre gestos de la cabeza. La primera
base de datos contiene gestos de la cabeza que pueden ser usados para
entrenar y probar algoritmos de reconocimiento de gestos de la cabeza. La
segunda base de datos contiene gestos de la cabeza y eventos de espejeo
tomados de cámaras fijas y cámaras portables. Esta base de datos fue recolectada
durante un experimento conformado por interacciones sociales de 48
participantes. La tercera base de datos contiene gestos de la cabeza recolectados
con cámaras fijas y portables durante un experimento conformado
por interacciones sociales de 10 participantes invidentes y 40 participantes
videntes. La tercera contribución es el desarrollo de un sistema automático
de estimación de competencia profesional en interacciones del tipo clienteproveedor
de servicio. Este sistema puede ser usado como una herramienta
de anotación automática del grado de competencia percibida por clientes
en interacciones estudiadas por psicólogos o para la estimación automática
de la satisfacción de un cliente. La contribución final es el desarrollo de
un sistema tecnológico de asistencia en interacción social para personas
invidentes. El sistema consiste de una cámara portable y un cinturón vibratorio
que proporciona retroalimentación. ABSTRACT: Visually impaired people present disadvantages on social interactions
with respect to their sighted counterpart, considering that a large
amount of the communication between people is exchanged based on
non-verbal cues. During the last decades, several researchers and companies
have been developing wearable systems to support visually impaired people
in activities such as mobility, orientation, and education. However, little
effort has been made in the development of systems that can assist blind
people on their social interaction.
This thesis introduces an assistive technology device to aid blind users
on social interactions. The thesis contributes in four important ways to the
areas of computer vision and assistive technologies. The first contribution
is the development of computer vision algorithms to robustly detect head
gestures of an interlocutor from live-video taken with a wearable camera.
The main difference with other methods is that our system is capable of
detecting the gestures, in spite of the presence of ego-motion, due to a stabilization
stage. The second contribution is the collection of three custom
data sets. The first data set contains head gestures that can be used to train
and test head gestures recognition algorithms. The second data set includes
head gestures and head mirroring events from fixed and wearable cameras.
This data set was collected during an experiment with 48 participants. The
third data set contains head gestures collected from fixed and wearable
cameras during an experiment with blind users and sighted participants.
The third contribution is the development of a socially-aware assistant for
the automatic inference of competence assessment during face-to-face social
interactions. This assistant could serve as a training tool for psychologists
(for automatic annotation/summarization of videos) or for the automatic estimation
of client satisfaction. The final contribution entails the development
of an assistive technology system for blind users. The system consisting of a
wearable camera and a haptic feedback device is capable of recognizing nonverbal
cues from social interactions such as nodding and shaking gestures
and provide this information to blind users via haptic feedback.
Description:
Tesis (Doctorado en Tecnología Avanzada), Instituto Politécnico Nacional, CICATA, Unidad Querétaro, 2016, 1 archivo PDF, (114 páginas). tesis.ipn.mx