A pesquisadora da Escola Politécnica, Ana Carolina Gracioso desenvolveu um sistema computacional que facilita a comunicação de deficientes através do estudo das mímicas de suas faces. O software adequa parâmetros de outros sistemas computacionais automaticamente, diante da expressão de insatisfação do usuário.

O primeiro contato da pesquisadora com o cotidiano de crianças deficientes foi a convite de seu orientador, Francisco Javier Ramirez Fernandez. Ao conhecer Diogo, portador de paralisia cerebral, Gracioso percebeu que ele tinha necessidades básicas que não eram atendidas porque ele não conseguia se comunicar. “Não imaginamos como coisas muito simples resolvem a vida deles”, relata Gracioso.

O software desenvolvido é capaz de inferir o estado emocional de uma pessoa por meio da análise da movimentação de pontos em seu rosto, levando em consideração as seis emoções consideradas básicas; felicidade, tristeza, medo, surpresa, raiva e aversão.

A sobreposição da imagem de expressão neutra (a) com a imagem com expressão de raiva (b) permite ao software identificar a movimentação dos pontos de referência (c) e inferir a mudança de estado emocional. 

Fonte: Imagens da face retiradas da Base de dados KDEF (LUNDQVIST; FLYKT; ÖHMAN , 1988).

O software foi testado em diversas bases de dados, ou seja, em arquivos de expressões faciais categorizadas com os quais o computador compara a face do usuário para inferir a emoção que está sendo demonstrada. Para a base de dados CK+, que utiliza como base comparativa para a mesma emoção diferentes expressões induzidas, os resultados podem ser conferidos no gráfico abaixo. Como os testes não foram feitos em larga escala, os resultados podem variar.

Fonte: Avaliação da influência de emoções na tomada de decisão de sistemas computacionais (Gracioso)

A taxa de acerto médio do software ao inferir emoções foi de 91,2%. O menor percentual de acerto foi para a emoção “aversão” (78,9%), que por vezes foi confundida com raiva e tristeza. O maior percentual de acerto coube à emoção “surpresa” (98,8%).

Com o software em mãos, Gracioso o levou até a APAE (Associação de Pais e Amigos dos Excepcionais) de Presidente Prudente e o atrelou a uma prancha de comunicação utilizada pelos deficientes. O sistema foi configurado para agrupar as emoções entre estados de satisfação e insatisfação, e modificar sua resposta até o usuário se mostrar satisfeito. Se uma pessoa com deficiência não consegue clicar em um ícone da prancha, por exemplo, o software detecta a insatisfação em sua face e aumenta o tamanho do ícone até ela conseguir usá-lo.

A pesquisadora realizou estudos de caso com seis alunos da APAE que se voluntariaram, e conseguiu melhorar a experiência tecnológica dos usuários em oito de dez estudos de caso propostos. Após o uso do software, alguns pais dos envolvidos relataram melhoras tanto no aspecto cognitivo dos deficientes quanto na comunicação familiar. O sistema também conseguiu se adequar como esperado em todos os estudos de caso que envolviam pessoas sem deficiência.