REDES NEURAIS ARTIFICIAIS E PROCESSAMENTO DE IMAGEM NO RECONHECIMENTO DE LIBRAS, USANDO O KINECT

Luiz Carlos Gonçalves, Eduardo Fernandes Saad, Rogerio Bernardes Andrade, Buno Alves Romero, Roberto Duarte de Campos

Resumo


O artigo descrito tem por objetivo, desenvolver uma programação que traduz eletronicamente o gestual da Linguagem Brasileira de Sinais (LIBRAS) através do uso do sensor Kinect (usado no videogame XBox 360 da Microsoft), redes neurais e processamento de imagens. A aplicação tem pretensão de capturar gestos e testar, realizados livremente com a mão do usuário, permitindo o treinamento e reconhecendo assim diversos tipos de gestos diferentes, utilizando o sensor Kinect, que permite a captura de uma imagem juntamente com o mapa de profundidade. A partir do rastreamento e captura de imagens, é possível distinguir os gestos obtidos, que define letras em particular. O trabalho permite o acompanhamento de elementos de uma cena à captura, a aprendizagem utilizando matrizes binárias geradas por processamento de imagens e o reconhecimento em uma Rede Neural Artificial (RNA). Os resultados foram de 88%, bem acima do mínimo aceitável para uma rede neural, satisfazendo o objetivo deste artigo.

Palavras-chave


Gestos; LIBRAS; Neural; Rede; Kinect

Texto completo:

PDF

Referências


ALVARENGA, M. L. T.; CORREA, D.S.O.; OSORIO, F. S. Redes Neurais Artificiais aplicadas no Reconhecimento de Gestos usando o Kinect. In: Computer On The Beach 2012, Florianópolis. Anais do Evento Computer On The Beach, 2012. p. 347-356.

HAYKIN, S.; Redes Neurais: Princípios e Práticas. Porto Alegre: Bookman, [2001]. 900 p.

LIBRAS em Contexto: Curso Básico: Livro do Professor. 4. ed. Rio de Janeiro: LIBRAS Editora Gráfica, 2005. HAGEN, Rose-Marie & HAGEN, Rainer. Goya.

MARQUES FILHO, O.; VIEIRA NET, H. Processamento Digital de Imagens. Rio de Janeiro: Brasport, [1999].

MSDN, Microsoft Kinect. Disponível em: <>. Acesso em 27 out 2015.

MSDN, Microsoft Kinect. Disponível em: <>. Acesso em 27 out 2015.

PERES, Sarajane Marques; FLORES, Franklin Cesar;

VERONEZ, Denise; OLGUIN, Carlos Jose Maria. LIBRAS Signals Recognition: a study with Learning Vector Quantization and Bit Signature. Ninth Brazilian Symposium on Neural Networks, 2006. SBRN '06. pp. 119 – 124. DOI: 10.1109/SBRN.2006.26

SILVA, I .R, KAUCHAKJE, S., GESUELI, Z. M. Cidadania, Surdez e Linguagem - Desafios e Realidades. São Paulo: Plexus Editora, 2003.

STARNER, T.; WEAVER, J.; PENTLAND, A. Real-time American sign language recognition using desk and wearable computer based video. In: IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), Dec. 1998 Vol.20,N.12. pp. 1371 – 1375. DOI: 10.1109/34.735811

SOLOMON, C.; BRECKON, T. Fundamentos de Processamento Digital de Imagens: Uma Abordagem Prática com Exemplos em Matlab. Rio de Janeiro: LTC, [2013]. 289 p. http://www.dpi.inpe.br/~carlos/Academicos/Cursos/Pdi/pdi_filtros.htm


Apontamentos

  • Não há apontamentos.


Direitos autorais 2016 JORNAL DE ENGENHARIA, TECNOLOGIA E MEIO AMBIENTE - JETMA