Utilize este identificador para referenciar este registo:
https://hdl.handle.net/1822/36711
Título: | Portuguese sign language recognition from depth sensing human gesture and motion capture |
Autor(es): | Sotelo, Carlos Miguel Freitas |
Orientador(es): | Silva, Carlos A. Dias, Miguel Sales |
Data: | 18-Dez-2014 |
Resumo(s): | Just like spoken languages, Sign Languages (SL) have evolved over time,
featuring their own grammar and vocabulary, and thus, they are considered real
languages. The major difference between SL and other languages is that the first
one is signed and the second one is spoken, meaning that SL is a visual
language. SL is the most common type of language among deaf people as no
sense of hearing is required to understand it.
The main motivation of this dissertation is to build a bridge to ease the
communication between those who are deaf (and hard-of-hearing) and those not
familiarized with SL. We propose a system whose main feature is the absence of
intrusion, discarding the usage of glove like devices or a setup with multiple
cameras. We achieved this using the Kinect One sensor from Microsoft. Using a
single device, we can acquire both depth and colour information, yet this system
makes usage only on the depth information.
Four experimental situations have been performed: simple posture
recognition, movement postures recognition, sign recognition using only hand
path information, and sign recognition using hand path and hand configuration
information. The first and third experimental classes were conducted, in order to
confirm the feature extraction method’s eligibility while the second and fourth
experiments were conducted to address our hypothesis. Accuracy rates reached
87.4% and 64.2% for the first and second experiments, respectively. In the
experiments concerning signs, accuracy rates of 91.6% for hand path data only,
and 81.3% for hand path and hand configuration data were achieved. Tal como as línguas faladas, as línguas gestuais evoluíram ao longo do tempo, contendo gramáticas e vocabulários próprios, sendo assim oficialmente consideradas línguas. A principal diferença entre as línguas faladas e as línguas gestuais é o meio de comunicação, sendo dessa forma as línguas gestuais línguas visuais. Sendo que a principal língua falada entre a comunidade surda é a língua gestual, construir uma ferramenta que funcione como uma ligação que facilite a comunicação entre a comunidade surda e o resto das pessoas é o principal objetivo e motivação desta dissertação. O nosso sistema tem como característica principal não ser intrusivo, descartando o uso de sistemas de “Data Gloves” ou sistemas dependentes de múltiplas câmaras ou outros aparelhos. Isto é conseguido usando um único aparelho, o Kinect One da Microsoft, que consegue captar informações de cor e profundidade. No desenvolvimento deste trabalho, quarto experiências foram realizadas: reconhecimento simples da configuração da mão; reconhecimento da configuração da mão em sinais; reconhecimento de sinais usando somente informação dos trajetos das mãos; reconhecimento de sinais com o trajeto e as configurações das mãos. A primeira e terceira experiências foram realizadas de forma a conferir o método de extração de características, enquanto a segunda e quarta experiências foram conduzidas de forma a adaptar os primeiros sistemas ao problema real do reconhecimento de sinais em LGP. A primeira e segunda experiências obtiveram taxas de acerto de 87.3% e 64.2% respetivamente enquanto as experiências respetivos ao reconhecimento de sinais obtiveram taxas de 91.6% para a experiência contendo só o trajeto da mão, e 81.3% com o trajeto e a configuração das mãos. |
Tipo: | Dissertação de mestrado |
Descrição: | Dissertação de mestrado em Engenharia Informática |
URI: | https://hdl.handle.net/1822/36711 |
Acesso: | Acesso aberto |
Aparece nas coleções: | BUM - Dissertações de Mestrado |
Ficheiros deste registo:
Ficheiro | Descrição | Tamanho | Formato | |
---|---|---|---|---|
eeum_di_dissertacao_pg22783.pdf | 3,8 MB | Adobe PDF | Ver/Abrir |