NiTfm live

Na cidade

StorySign: a nova aplicação da Huawei traduz histórias infantis em língua gestual

A marca chinesa desenvolveu a app com a ajuda da inteligência artificial para ajudar crianças surdas a aprender a ler.

A Star é o avatar mais querido.

O hábito de contar histórias de Natal na noite da Consoada é uma das memórias mais felizes das nossas infâncias. E uma tradição que queremos manter bem viva na família. Agora imagine que não conseguia ouvir os seus pais contarem uma simples história. E que não sabia sequer ler. O Natal não seria a mesma coisa, certo?

Existem cerca de 32 milhões de crianças surdas no mundo e a grande maioria tem muitas dificuldades em aprender a ler. Além da língua não se traduzir diretamente e com a mesma estrutura frásica, não existem muitas ferramentas que ajudem as crianças a ligar a língua gestual às palavras e aos respetivos sons. 

Foi para tornar a magia do Natal acessível a todas as crianças que nasceu a StorySign, a nova aplicação criada pela Huawei com a ajuda de associações como a União Europeia de Surdos. O principal objetivo desta ideia inovadora é construir um mundo onde as histórias dos livros infantis são traduzidas para língua gestual, ensinando as crianças surdas a fazerem a ligação entre palavras e gestos.

O avatar da StorySign chama-se Star e foi projetado pela Aardman Animations. Neil Pymer, diretor criativo da agência, diz: “70% da comunicação gestual começa no rosto e, por isso, foram precisas cerca de 80 câmaras para gravar todas as expressões faciais e gestos necessários. Só assim foi possível criar a Star”.

Como funciona esta app revolucionária

Primeiro, a criança abre a aplicação e escolhe um dos livros da biblioteca da StorySign. De seguida, aponta a câmara do telemóvel para o livro até ela focar as palavras da página. Através do reconhecimento de imagem e de caracteres, otimizado pela inteligência artificial desenvolvida pela Huawei, a aplicação reconhece imediatamente as palavras e a Star começa a interpretar em língua gestual de cada uma delas, à medida que as realça no ecrã do telemóvel.

Para mostrar que o Natal pode (e deve) ser a altura do ano mais especial para todos os miúdos, a Huawei levou várias famílias com crianças surdas à Lapónia, a terra do Pai Natal. Foi também uma oportunidade para experimentarem, pela primeira vez, a StorySign.

A aplicação está disponível para download gratuito em todos os telemóveis com sistema operativo Android, através da Google Play Store. Existem dez idiomas de língua gestual diferentes: inglês, francês, alemão, italiano, espanhol, holandês, português, irlandês, flamengo belga e alemão-suíço. “Onde Está o Bolinha” é o único livro que, por enquanto, está disponível na StorySign. 

Este artigo foi escrito em parceria com a Huawei.