No ano passado, as empresas Microsoft, IBM e Amazon foram alertadas sobre o facto de estarem a utilizar tecnologia de reconhecimento facial tendenciosa contra pessoas com pele escura. Agora, descobriu-se que alguns carros autónomos podem ter o mesmo problema.
Segundo uma análise do Georgia Institute of Technology, da Universidade da Geórgia, Estados Unidos (EUA), divulgada em fevereiro de 2019, alguns sistemas usados por carros autónomos para detetar pedestres têm dificuldade em identificar pessoas com tons de pele mais escuros, o que torna maior a probabilidade de serem atingidas em caso de acidente.
Através da análise de dados do Berkeley Driving Dataset, nomeadamente vídeos de Nova Iorque, Berkeley, São Francisco e San José, os investigadores responsáveis pelo estudo verificaram como os sistemas reagiriam a diferentes tipos de pedestres, indica um artigo do Mashable, publicado na terça-feira.
A equipa escolheu oito sistemas de reconhecimento de imagem frequentemente utilizados em veículos autónomos e avaliou como estes captam cada tom de pele, segundo a escala de Fitzpatrick – sistema para classificar os tons de pele humanos -, tendo descoberto “um desempenho uniformemente pior para detetar pedestres com tipos de pele entre 4 e 6″, que são mais escuros.
Existem, contudo, vários fatores que podem levar a resultados imprecisos, como a hora do dia ou a cor da roupa. Os investigadores descobriram, porém, tendo em consideração apenas a cor da pele, a precisão desses sistemas caiu, em média, 5% para pedestres com pele mais escura.
(cv)
Ora, se um sistema não identifica uma pessoa como pedestre, a mesma corre mais risco de ser atingida, visto que o computador “não consegue prever o seu comportamento”.
“A principal lição do nosso trabalho é que os sistemas de visão que compartilham estruturas comuns aos que testamos devem ser examinados mais de perto”, disse ao Vox Jamie Morgenstern, um dos autores do estudo, na terça-feira.
Muitos carros autónomos usam uma mistura de LiDAR, radares, sensores e câmaras. Algumas empresas dependem muito das câmaras, como o sistema de piloto automático da Tesla. A empresa Ambarella, com sede em Silicon Valley, está a desenvolver um sistema autónomo que depende quase inteiramente de câmaras.
No entanto, nem todas as empresas recorrem a esses dispositivos. A Blackmore foca-se no Doppler LiDAR, então as roupas e o tom de pele não importam. Ao invés disso, o sistema mede a velocidade dos objetos.
Este relatório agora divulgado deve ser visto como “um grão de sal”, devido ao facto de o mesmo ainda não ter sido revisto pelos pares, de os investigadores não terem testado modelos de deteção de objetos usados por carros autónomos e não terem tido acesso aos dados de treino usados pelos fabricantes.
Ao invés disso, testaram modelos usados por académicos. A análise teve que ser conduzida desta forma devido ao facto de as empresas não disponibilizarem os seus dados para análise, o que o Vox considera “uma questão séria, de interesse público”.
Porém, isso “não significa que o estudo não seja valioso”. Como indicou a co-diretora do AI Now Research Institute, Kate Crawford, no Twitter: “Num mundo ideal, os académicos testariam os modelos reais e os conjuntos de treino usados por fabricantes de automóveis autónomos. Mas, como esses dados nunca são disponibilizados (um problema em si), estudos como este oferecem fortes luzes sobre os riscos reais”.
Os resultados desta análise contribuem para um corpo crescente de evidências sobre como o viés humano infiltra-se nos sistemas automatizados de tomada de decisão, definido como viés algorítmico.
O exemplo mais famoso tornou-se público em 2015, quando o sistema de reconhecimento de imagem do Google classificou os afro-americanos como “gorilas”. Três anos depois, o sistema Rekognition, da Amazon, foi criticado por associar 28 membros do Congresso a fotos criminais.
Outro estudo revelou que três sistemas de reconhecimento facial – IBM, Microsoft e Megvii da China – eram mais propensos a identificar erradamente o género de pessoas de pele escura (especialmente mulheres) do que de pessoas de pele clara.
De acordo com o artigo do Vox, visto que os sistemas algorítmicos aprendem com base nos exemplos com os quais são alimentados, caso não recebam exemplos suficientes de negros durante o estágio de aprendizagem, terão mais dificuldade em reconhecê-los quando estiverem em uso.
De facto, os autores do estudo observaram que os modelos de deteção de objetos analisados foram treinados principalmente com exemplos de pedestres de pele clara. Por outro lado, os mesmos modelos não deram importância suficiente à aprendizagem dos poucos exemplos de pessoas de pele escura disponibilizados.
A equipa acredita que uma das soluções passa por incluir mais exemplos de pessoas com pele escura durante a fase de treino destes sistemas.
Para o problema mais amplo do viés algorítmico, as propostas existentes passam por garantir que as equipas responsáveis por desenvolver novas tecnologias sejam racialmente diversas.
“Se todos os membros da equipa forem caucasianos, do sexo masculino, ou ambos, pode acontecer que não lhes ocorra verificar como o algoritmo manipula a imagem de uma mulher negra. Mas, se houver uma mulher negra na sala, isso provavelmente lhe ocorrerá”, exemplificou Joy Buolamwini, do Massachusetts Institute of Technology (MIT).
Outra solução é exigir que as empresas testem os seus algoritmos quanto a preconceitos e demonstrem que os mesmos atendem a determinados padrões de imparcialidade antes de serem implementados.
Kartik Hosanagar, autor de “A Human’s Guide to Machine Intelligence”, acredita que a criação de um teste explícito para o preconceito é “a coisa mais útil a ser feita”. Exigir que toda as equipas tenham “diversidade suficiente será difícil porque a diversidade pode englobar raça, género, nacionalidade. Mas há certas coisas importantes que uma empresa tem que fazer. Testar o preconceito racial será o mais eficaz”, acrescentou.
Isto agora vê-se racismo em tudo e algo mais. Não sejam ridiculos, já parecem o racista Mamadou Ba…