Próximo passo para IA: aprendendo a ler seus lábios

Um paciente está sentado em uma cama de hospital, uma bandagem cobrindo seu pescoço com uma pequena abertura para o tubo de traqueostomia que fornece oxigênio.

Por causa de sua recente cirurgia, o homem apresentado neste vídeo de marketing não consigo vocalizar. Então, um médico segura um smartphone e registra o paciente enquanto ele pronuncia uma frase curta. Um aplicativo chamado SRAVI analisa os movimentos dos lábios e, em cerca de dois segundos, retorna sua interpretação - "Eu preciso de sucção."

Parece uma interação simples e, em alguns aspectos, o SRAVI (aplicativo de reconhecimento de voz para deficientes auditivos) ainda é bastante simplista. Ele só consegue reconhecer algumas dezenas de frases e faz isso com cerca de 90% de precisão. Mas o aplicativo, que é feito pela startup irlandesa Liopa, representa um grande avanço no campo do reconhecimento visual de voz (VSR), que envolve o treinamento de IA para ler lábios sem qualquer entrada de áudio. Provavelmente será o primeiro aplicativo de IA de leitura labial disponível para compra pública.

Os pesquisadores têm trabalhado por décadas para ensinar computadores a ler labiais, mas é uma tarefa desafiadora, mesmo com os avanços nos sistemas de aprendizagem profunda que têm ajudado a decifrar outros problemas de marco. A pesquisa foi conduzida por uma ampla gama de aplicações comerciais possíveis - de ferramentas de vigilância a aplicativos de comunicação silenciosa e desempenho de assistente virtual aprimorado.

A Liopa está em processo de certificação de SRAVI como um dispositivo médico de Classe I na Europa, e a empresa espera concluir a certificação até agosto, o que permitirá que comece a vender para provedores de saúde.

Embora suas intenções com a tecnologia não sejam claras, muitos dos gigantes da tecnologia também estão trabalhando na IA de leitura labial. Cientistas afiliados ou trabalhando diretamente para Google, Huawei, Samsung e Sony estão todos pesquisando sistemas VSR e parecem estar fazendo avanços rápidos, de acordo com entrevistas e revisão da Motherboard de pesquisas publicadas recentemente e pedidos de patentes. As empresas não responderam ou recusaram entrevistas para esta história.

À medida que a IA de leitura labial emerge como um produto comercial viável, tecnólogos e vigilantes da privacidade estão cada vez mais preocupados com a forma como está sendo desenvolvida e como poderá um dia ser implantada. SRAVI, por exemplo, não é a única aplicação de leitura labial em que Liopa está trabalhando. A empresa também está em fase dois de um projeto com uma agência de pesquisa de defesa do Reino Unido para desenvolver uma ferramenta que permitiria às agências de aplicação da lei pesquisar através de imagens silenciosas de CFTV e identificar quando as pessoas dizem certas palavras-chave.

Empresa de vigilância Motorola Solutions tem uma patente para um sistema de leitura labial projetado para ajudar a polícia. Skylark Labs, uma startup cujo fundador tem ligações com a Agência de Projetos de Pesquisa Avançada de Defesa dos EUA (DARPA), disse ao Motherboard que seu sistema de leitura labial está atualmente implantado em residências privadas e em uma empresa de energia controlada pelo estado na Índia para detectar linguagem obscena e abusiva .

“Esta é uma daquelas áreas, da minha perspectiva, que é um bom exemplo de 'só porque podemos fazer isso, não significa que devemos'”, disse Fraser Sampson, comissário de biometria e câmeras de vigilância do Reino Unido, ao Motherboard. “Minha principal preocupação nessa área não seria necessariamente o que a tecnologia poderia fazer e o que não poderia fazer, seria o efeito arrepiante de as pessoas acreditarem que ela poderia fazer o que diz. Se isso os impedisse de falar em público, então estamos em uma área muito maior do que simplesmente privacidade, e privacidade é grande o suficiente. ”

O surgimento da IA ​​de leitura labial é uma reminiscência da tecnologia de reconhecimento facial, que foi uma área de nicho de pesquisa por décadas antes de ser discretamente, mas rapidamente, comercializada como uma ferramenta de vigilância no início dos anos 2000.