Estes efeitos sonoros não são reais (mas conseguem enganar os ouvidos humanos)

Uma equipa de investigadores criou um programa autónomo que analisa o movimento nas frames de um vídeo e cria os seus próprios efeitos sonoros artificiais para combinar com a cena.

Muitos dos efeitos sonoros que ouvimos nos filmes e na televisão são, na verdade, recriados e editados posteriormente por artistas de Foley, que produzem os sons, usando uma grande quantidade de objetos à sua disposição.

Agora, os investigadores estão a tentar criar uma Inteligência Artificial geradora de efeitos sonoros para ver se consegue fazer o seu trabalho suficientemente bem para enganar a população humana.

“Adicionar efeitos sonoros na pós-produção usando Foley tem sido uma parte intrínseca das trilhas sonoras de filmes e televisão desde os anos 1930”, explicou Jeff Prevost, professor da Universidade do Texas, que co-criou o AutoFoley, de acordo com a IEEE Spectrum. “Os filmes pareceriam vazios e distantes sem a camada controlada de uma trilha sonora realista. No entanto, o processo de síntese de som Foley, portanto, adiciona tempo e custos significativos à criação de um filme”.

Prevost e Sanchita Ghose, estudante de doutoramento, começaram a criar um programa de aprendizagem de máquina em várias camadas. Os investigadores criaram dois modelos diferentes que podem ser usados ​​na primeira etapa, que envolve identificar as ações num vídeo e determinar o som apropriado.

O primeiro modelo de aprendizado de máquina extrai recursos de imagem de frames de vídeos de ação em movimento rápido para determinar um efeito de som apropriado. O segundo modelo analisa a relação temporal de um objeto em frames separados. Usando o raciocínio relacional para comparar diferentes frames ao longo do tempo, o segundo modelo pode antecipar que ação está a acontecer no vídeo.

Numa etapa final, o som é sintetizado para corresponder à atividade ou movimento previsto por um dos modelos. Prevost e Ghose usaram o AutoFoley para criar som para 1.000 clipes de filme curtos capturando uma série de ações comuns, como a queda de chuva, o galope de um cavalo e o tique-taque de um relógio.

A análise mostra que o AutoFoley é melhor na produção de sons onde o tempo não precisa de se alinhar perfeitamente com o vídeo. Porém, é mais provável que o programa fique fora de sincronia com um vídeo quando as cenas visuais contêm ações aleatórias com variação no tempo.

Prevost e Ghose inquiriram 57 estudantes universitários locais em que vídeos achavam que estavam incluídas trilhas sonoras originais. Ao avaliar as trilhas sonoras geradas pelo primeiro modelo, 73% dos alunos ​​escolheu o clipe AutoFoley sintetizado como a peça original em vez do clipe de som verdadeiro. Ao avaliar o segundo modelo, 66% escolheu o AutoFoley em vez do som original.

“Uma limitação na nossa abordagem é o requisito de que o assunto da classificação esteja presente em toda a sequência de quadros do vídeo”, disse Prevost, acrescentando que o AutoFoley depende de um conjunto de dados com categorias limitadas de Foley.

Embora a patente do AutoFoley ainda esteja nos estágios iniciais, Prevost considera que estas limitações serão abordadas em investigações futuras.

O AutoFoley foi descrito num estudo publicado em 25 de junho na revista científica IEEE Transactions on Multimedia.

ZAP //

PARTILHAR

1 COMENTÁRIO

RESPONDER

Uber investe 90 milhões em novo ‘hub’ e sede em Lisboa e espera contratar mais 200 pessoas

A Uber está a investir 90 milhões de euros num novo ‘hub’ e sede de operações em Lisboa, hoje inaugurados, criando mais de 400 empregos diretos e pretendendo contratar mais 200 pessoas até final do …

Máscara nos espaços fechados e eventual terceira dose em massa - as conclusões da reunião no Infarmed

Terminou há momentos a reunião do governo com especialistas no Infarmed sobre o balanço da evolução da pandemia e as recomendações das medidas que devem ser adoptadas nesta nova fase. A reunião começou com as …

"Cruzeiro espacial" da SpaceX com quatro civis já está em órbita

Voo espacial terá a duração de três dias e cada um do seus tripulantes (quatro civis) terá uma tarefa na missão. Ainda assim, viagem tem um objetivo nobre e social. Passo a passo, Elon Musk parece …

Líder do PAN faz queixa no Ministério Público depois de ser ameaçada de morte

A deputada mostrou no Twitter o tipo de insultos e ameaças que tem recebido e avisa que não se vai calar ou permitir que o desrespeito continue. Inês Sousa Real foi insultada e ameaçada nas redes …

Árbitro foi muito "benévolo" com o FC Porto

O golo de Taremi e a expulsão de Mbemba originaram protestos portugueses. Os espanhóis têm uma visão diferente. O Atlético de Madrid-FC Porto contou com duas boas equipas em campo e uma "que esteve menos bem", …

Buraco na camada de ozono ultrapassa o tamanho da Antártida

A dimensão do buraco na camada de ozono no hemisfério sul ultrapassou o tamanho da Antártida, continente com cerca de 14 milhões de quilómetros quadrados, anunciou hoje o serviço europeu Copernicus, de monitorização da atmosfera. “O …

Políticos e especialistas querem legalizar canábis (com impostos para prevenir o consumo)

Um grupo de 65 personalidades, entre especialistas médicos e ex-ministros, apela à legalização da canábis, considerando que é a melhor forma de prevenir o consumo desta droga, nomeadamente através dos impostos aplicados ao sector. Esta carta …

Mais 1062 casos e seis mortes por covid-19. Internamentos continuam em queda

Há actualmente 497 doentes internados, menos 30 pessoas do que no último balanço. Mais seis pessoas morreram de covid-19 nas últimas 24 horas. Nas últimas 24 horas, Portugal registou mais seis mortes e mais 1062 casos …

Crescimento sustentado da economia dá margem ao Governo nas negociações para OE

Governo tem a seu favor uma evolução positiva das receitas fiscais, o que lhe deverá permitir metas mais ambiciosas de redução do défice ou, em alternativa, assumir mais medidas com impacto negativo no orçamento. O crescimento …

Portugal contratou mais professores, mas salários baixaram

Em ano de pandemia, um relatório da Organização para a Cooperação e Desenvolvimento Económico (OCDE) mostra as diferenças que existem nas carreiras dos professores na Europa e em Portugal. O reforço do número de professores no …