Orientador: José Mario De Martino

Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação

Resumo: Acessibilidade e uma preocupação crescente em computação. Uma vez que as informações em ambientes computacionais são apresentadas em sua maioria por meios visuais, pode-se ter a falsa impressão de que a acessibilidade para deficientes auditivos não e um problema. No entanto, para pessoas que...

Resumo: Acessibilidade e uma preocupação crescente em computação. Uma vez que as informações em ambientes computacionais são apresentadas em sua maioria por meios visuais, pode-se ter a falsa impressão de que a acessibilidade para deficientes auditivos não e um problema. No entanto, para pessoas que adquirem a surdez antes da alfabetização, materiais escritos são, em geral, menos acessíveis do que se apresentados em línguas de sinais. Para o deficiente auditivo a língua de sinais e geralmente a primeira língua adquirida, e ler um texto em uma língua escrita e o equivalente a utilizar uma língua estrangeira. Apesar de um surdo poder ser fluente em português assim como o ouvinte pode ser fluente em língua de sinais, a língua oral e escrita comumente não e sua primeira língua. E possível aprimorar a interação homem - maquina de portadores de deficiência auditiva adequando as respostas dos sistemas computacionais as necessidades dos surdos. A libras, língua brasileira de sinais, utiliza gestos e expressões faciais para a comunicação, sendo utilizada pela comunidade brasileira de surdos e reconhecida como língua oficial do Brasil. Para criar conteúdo virtual em língua de sinais, de maneira automática, faz-se necessária a utilização de uma notação capaz de descrever os sinais. Sistemas de transcrição foram desenvolvidos para as línguas de sinais. Porem, uma vez que não foram criados com o intuito de gerar animações por computador, estes sistemas de transcrição possuem limitações, tais como ambigüidades ou omissão de informações, dificultando seu uso para os propósitos deste trabalho. Em geral, o reconhecimento e a reprodução de um sinal com o uso dos sistemas de transcrições existentes são possíveis apenas por interpretes experientes ou por profundos conhecedores da notação. Este trabalho propõe um sistema de transcrição para a reprodução computacional e em tempo real de conteúdo em língua de sinais através de um agente virtual sinalizador, modelo tridimensional que representa uma figura humana e que articula os sinais da libras. Para isso e necessário registrar explicitamente quantidade suficiente de informações para que a reprodução seja próxima a realidade. Apesar dos estudos das línguas de sinais existirem por quase meio século, o problema de transcrição continua um desafio. Dessa forma, a proposta de uma notação para descrever, armazenar e reproduzir conteúdo em libras por um agente virtual sinalizador em tempo real oferece uma ferramenta poderosa de estudo e pesquisa, que contribui para um melhor entendimento da língua brasileira de sinais, uma vez que ainda se conhece pouco sobre sua estrutura, gramática e fonética, quando comparado ao conhecimento adquirido ao longo dos séculos pelos estudos das línguas orais

Abstract: Accessibility is a growing concern in computer science. As virtual information is mostly presented visually, it may seem that the access for deaf people is not an issue. However, for prelingually deaf individuals, those who were deaf since before learning any language, written information...

Abstract: Accessibility is a growing concern in computer science. As virtual information is mostly presented visually, it may seem that the access for deaf people is not an issue. However, for prelingually deaf individuals, those who were deaf since before learning any language, written information is less accessible than if it was presented in sign language. Further, sign language is the first language deaf people learn, and reading a text in spoken language is akin to using a foreign language. The deaf can be fluent in Portuguese, as well as the listener can be fluent in sign language. Nevertheless, an oral language is a foreign language for the deaf. It is possible to improve the human-machine interaction for deaf people adapting computer systems to their needs. Libras, Brazilian sign language, uses gestures and facial expressions to convey meaning. It is used by deaf communities in Brazil and it is recognized as an official language. To generate signed content on virtual environment, automatically, it is necessary to describe all relevant characteristics of the signs. Many transcription systems have been developed to describe sign languages. However, since these systems were not originally designed to generate computer animation, they present many limitations. In general, the recognition and reproduction of the signs using these systems is possible only for those who deeply know the notation. This thesis presents a transcription system to provide signed content on a virtual environment, in real time, through a virtual agent, tri dimensional model that represents a human character and articulates signs in libras. To animate a virtual character, a transcription system requires enough explicit information, in order to generate intelligible articulation. Although sign language studies have been published for half century, the transcription problem remains a challenge. Hence, a transcription system to describe, store and play signed content on virtual environments offers a powerful study and research tool, which may help linguists to understand sign languages structure and grammar