Quando a IA não te vê: como algoritmos reforçam desigualdades

Imagine descobrir que foi rejeitado para um emprego não por falta de qualificação, mas porque um algoritmo “aprendeu” que mães são menos dedicadas ao trabalho. Ou que sua solicitação de crédito foi negada porque o sistema nunca foi treinado para avaliar pessoas com o seu perfil socioeconômico. Essa é a realidade invisível de milhões de pessoas excluídas por inteligências artificiais construídas sem considerar diferentes realidades e contextos.

“O erro não é da tecnologia”, disparou Brenda Xavier, engenheira de dados do Itaú e membro do Google Developers Group, durante palestra no HackTown, neste sábado (2). Segundo ela, o problema muitas vezes não está no código ou na lógica matemática, mas na base sobre a qual o modelo é construído.

“Dados também têm gênero, cor e localidade” – e quando esses dados não são diversos, algoritmos se tornam máquinas de perpetuar desigualdades. O problema, portanto, é estrutural. “A responsabilidade é de quem planeja os dados e decide como eles serão usados, e também de quem utiliza a tecnologia na outra ponta”, reforçou.

O risco é claro: quando sistemas de IA são treinados apenas com dados de grupos específicos (geralmente homens brancos, cis e héteros, concentrados em grandes centros), eles simplesmente não “enxergam” quem está fora desse padrão. “Às vezes, o problema não é que a tecnologia te identificou errado. Às vezes, ela nem te reconheceu, porque não foi exposta ao seu contexto. Se você tem uma análise homogênea de determinada informação, algum grupo será excluído – e, em termos de negócios, excluir um grupo afeta o seu produto final e o sucesso comercial dele”, alertou Brenda.

Os números evidenciam a questão. Dados apresentados pelo Distrito mostram que apenas 22% dos profissionais de IA no mundo são mulheres, e menos de 14% ocupam cargos executivos. Os índices caem ainda mais quando se cruzam outros marcadores, como localização, raça e identidade sexual. “Somente 7% dos datasets públicos possuem informações sobre gênero e raça”, completou a especialista.

Como exemplo, Brenda citou casos em que sistemas de recrutamento desconsideraram candidatas com pausas na carreira para cuidar dos filhos. “O software ‘aprendeu’ que um candidato há muito tempo afastado do mercado poderia ser ruim, sem considerar os diferentes motivos para esse afastamento”, disse.

O problema também aparece na saúde – medicamentos desenvolvidos com base em estudos feitos apenas com homens podem ser menos eficazes ou gerar mais efeitos colaterais em organismos femininos. Em setores como finanças, critérios ultrapassados de crédito podem acabar negando benefícios a mulheres sem cônjuge ou a moradores de periferia.

“Essa conversa não é sobre código. É sobre você pegar uma desigualdade que já existe e transformar em tecnologia”, resumiu.

Brenda listou os principais tipos de viés que podem distorcer algoritmos:

• Viés de amostragem aleatória – quando só se coletam opiniões extremas (quem amou ou odiou um produto), ignorando a diversidade de percepções.
  
• Viés histórico – quando se usam dados antigos que não refletem a realidade atual, como treinar um modelo de preços imobiliários com dados de 1900 para o mercado de 2024.
  
• Viés de seleção – quando se escolhem dados com base em critérios que não correspondem ao objetivo final, excluindo grupos ou cenários relevantes.
  
• Viés de resposta – quando as informações coletadas em pesquisas ou questionários não representam o público de interesse;

A urgência de agir

Para explicar como esses vieses se propagam, Brenda apresentou três modelos de aprendizado de máquina:

1. Supervisionado – o algoritmo aprende com dados rotulados como corretos ou incorretos. É possível entender como ele chega ao resultado, mas, se as etiquetas já contiverem viés, ele será reproduzido.
   
2. Não supervisionado – o modelo recebe dados sem rótulos e identifica padrões sozinho. Se a base não for representativa, reforça distorções.
   
3. Aprendizado por reforço – inspirado no adestramento de animais, o modelo é treinado com recompensas por acertos. Se as recompensas forem enviesadas, o sistema aprenderá a priorizar comportamentos injustos.

Para ela, a diversidade nas equipes é parte fundamental da solução. “É a pessoa que está ensinando o algoritmo e é a pessoa que está atrás da máquina sem incluir as referências necessárias para que a IA se comporte adequadamente”, pontuou.

Ela propõe medidas práticas que empresas podem adotar para mitigar os riscos:

• Questionar a representatividade dos dados utilizados;
• Documentar e testar algoritmos com olhar crítico;
• Formar equipes multidisciplinares e diversas;
• Aplicar técnicas de mitigação de viés;
• Realizar auditorias regulares dos modelo.

O desafio regulatório

Brenda destacou que, no Brasil, a regulação sobre ética em IA ainda engatinha, com poucas iniciativas além da Lei Geral de Proteção de Dados (LGPD). Em países como os Estados Unidos, o debate já avançou, com fóruns e diretrizes específicas. “As empresas precisam fazer benchmark e trazer boas iniciativas para incentivar essas conversas em todo o mundo”, disse.

Seu alerta final foi direto: “Não é sobre tecnologia pela tecnologia. É sobre a diversidade como necessidade e o impacto que ela causa”, concluiu.