Vieses na Tecnologia: Como a IA Reflete e Amplifica Preconceitos Sociais
Recentemente participei de um evento de tecnologia exclusivo para mulheres, o meetup Tech and Cheers edição Mulher.Ada promovido pela Ambev Tech (leia mais aqui).
Enquanto eu estava preparando a minha apresentação sobre carreira, fiz uma pesquisa rápida no chatGPT e a ferramenta me retornou o seguinte:
Adorei a proposta, achei bastante aderente ao meu pedido, iria me ajudar a construir uma apresentação bem humorada. Partindo daí comecei a escrever minha fala, traçando paralelos entre a vida de uma pessoa de produto e a metáfora presente na resposta do chat.
Tudo estava indo bem, até que percebi um detalhe:
Pode parecer algo pequeno. Mas o que estamos vendo aqui é grave. Este é um exemplo claro (e simples) do quanto a tecnologia está permeada por vieses preconceituosos em seus algoritmos. Eu estava me preparando para falar em um evento exclusivo para mulheres, seria inadmissível deixar este fato escapar.
Com a popularização da inteligência artificial (IA) é cada vez mais comum nos depararmos com este tipo de tecnologia sendo aplicada nos mais diversos processos de tomada de decisão: análises de crédito, escolha do parceiro amoroso ideal, seleção de candidatos para vagas de empregos… e até mesmo diagnósticos médicos!
Isso gera um certo receio, principalmente quando surgem situações como a relatada no exemplo do início deste texto.
O Problema: Dados de Treinamento Preconceituosos
Vamos voltar um passo atrás. Para que uma IA Generativa, como o chatGPT, consiga responder sobre variados assuntos da maneira mais “correta” possível, é necessário um treinamento prévio. Em dado momento a tecnologia “aprendeu” que esse resultado/output era o correto.
Não é que a tecnologia esteja sendo preconceituosa por si só, mas sim por ter aprendido da forma errada.
As tomadas de decisões feitas pelos algoritmos dependem dos inputs que são feitos para treinar este tipo de tecnologia, e os inputs geralmente refletem os interesses e valores das pessoas que estão ocupando estes espaços dentro do setor de tecnologia. Ou seja, estes grandes conjuntos de dados usados para ensinar o que é “certo” e o que é “errado” podem transmitir e perpetuar os preconceitos e estereótipos existentes na sociedade, refletindo as dinâmicas presentes em nosso tecido social.
Falando em tecido social, quem são as pessoas que ocupam as cadeiras de tecnologia?
O infográfico acima evidencia os resultados da Pesquisa #QuemCodaBR, onde é possível observar que gênero, raça e idade ainda são marcadores muito desiguais dentro dos times de tech. É necessário e importante que este cenário mude, precisamos de mais diversidade nestes espaços.
Afinal, se todos têm um perfil semelhante, e pensam de forma parecida, dificilmente surgirão ideias diferentes, complementares e inovadoras. Por este motivo fomentar a diversidade nestes espaços é uma demanda urgente!
Impacto Social e Consequências Negativas
Os algoritmos de IA têm o potencial de espelhar e aprofundar preconceitos arraigados na sociedade, incluindo discriminação racial, de gênero e socioeconômica.
Portanto as pessoas desenvolvedoras possuem o dever de mitigar vieses e preconceitos em suas tecnologias, para que se possa promover uma IA mais justa e ética.
De forma complementar a este texto, segue imagem abaixo, que foi extraída do artigo Como lidar com vieses na inteligência artificial (e nos seres humanos), da McKinsey e apresenta boas práticas para endereçar este problema:
Por fim, deixo aqui algumas indicações, caso você queira explorar mais sobre o assunto:
Artigo: Inteligência artificial utiliza base de dados que refletem preconceitos e desigualdades — Jornal da USP.
Artigo: Notes from the AI frontier: Tackling bias in AI (and in humans) — McKinsey Global Institute.
Curso: Vieses Inconscientes na Tomada de Decisão — Linkedin Learning.
Filme: Coded Bias — Netflix.
E se você deseja entender mais a fundo sobre os principais passos envolvidos em um fluxo de Machine Learning, recomendo este post: An Overview of the End-to-End Machine Learning Workflow.
Até a próxima! 😉
