Reino Unido à beira de um escândalo sobre viés em ferramentas de IA utilizadas no setor público
O DWP tem utilizado a IA para detectar fraudes em benefícios desde 2021. O algoritmo identifica casos que merecem investigação adicional por um humano
Kate Osamor, deputada trabalhista por Edmonton, recentemente recebeu um e-mail de uma instituição de caridade sobre uma cidadã que teve seus benefícios suspensos, aparentemente sem motivo. O e-mail relatava a luta da mulher para entender a razão da suspensão de seu benefício, o Universal Credit (UC), e sua consequente ameaça de despejo após 18 meses sem poder pagar o aluguel.
Osamor tem lidado com dezenas desses casos nos últimos anos, muitos envolvendo cidadãos búlgaros. Ela acredita que eles foram vítimas de um sistema semi-automatizado que utiliza um algoritmo para sinalizar possíveis fraudes em benefícios antes de encaminhar esses casos para seres humanos tomarem a decisão final.
A deputada compartilhou: “Fui contatada por dezenas de cidadãos no início de 2022, todos búlgaros, que tiveram seus benefícios suspensos. Seus casos foram identificados pelo Serviço Integrado de Risco e Inteligência do DWP como de alto risco após análises de dados automatizadas. Eles foram deixados em situação de destituição por meses, sem meios de recurso. No entanto, em quase todos os casos, não foi encontrada evidência de fraude e seus benefícios foram eventualmente restaurados. Não houve responsabilização por esse processo.”
O DWP tem utilizado a IA para detectar fraudes em benefícios desde 2021. O algoritmo identifica casos que merecem investigação adicional por um humano. Em resposta a um pedido de liberdade de informação feito pelo The Guardian, o DWP afirmou que não poderia revelar detalhes de como o algoritmo funciona para evitar que pessoas explorem o sistema.
O departamento afirmou que o algoritmo não leva em consideração a nacionalidade. No entanto, como esses algoritmos são autoaprendizes, ninguém pode saber exatamente como eles equilibram os dados recebidos.
Shameem Ahmad, CEO do Public Law Project, expressou preocupação com a falta de transparência: “Em resposta a inúmeros pedidos de Liberdade de Informação, e apesar dos riscos evidentes, o DWP continua a recusar-se a fornecer informações básicas sobre como essas ferramentas de IA funcionam.”
O DWP não é o único departamento usando IA de maneira que pode impactar significativamente a vida das pessoas. Uma investigação do Guardian descobriu tais ferramentas em uso em pelo menos oito departamentos de Whitehall e algumas forças policiais no Reino Unido.
Algumas forças policiais também estão usando ferramentas de IA, especialmente para analisar padrões de crime e para reconhecimento facial. No entanto, assim como outras ferramentas de IA, há evidências de que os sistemas de reconhecimento facial do Met podem levar a vieses.
John Edwards, comissário de informações do Reino Unido, afirmou que examinou muitas ferramentas de IA usadas no setor público e não encontrou nenhuma violação das regras de proteção de dados. No entanto, ele expressou preocupação com as câmeras de reconhecimento facial.
Alguns departamentos estão tentando ser mais transparentes sobre como a IA está sendo usada no setor público. Enquanto isso, ativistas temem que aqueles que são afetados pelas decisões informadas pela IA estejam sendo prejudicados sem sequer perceber.
Ahmad alertou: “Exemplos de outros países ilustram as consequências catastróficas para os indivíduos afetados, governos e sociedade como um todo. Dada a falta de transparência e regulamentação, o governo está criando as circunstâncias precisas para que isso aconteça aqui também.”