Verificou-se que os CVs de nomes de castas superiores dominam as instituições de elite, enquanto os distritos de dalit e muçulmana são marcados como “alto risco”. Como a inteligência synthetic (IA) pode captar preconceitos humanos baseados em castas ou sensíveis comunalmente?
A inteligência synthetic está aprendendo vieses baseados em castas na Índia.
A inteligência synthetic (AI) é baseada em máquina; não é um ser humano. Ele pode aprender vieses humanos baseados em castas ou religião? Os relatórios sugerem que os chatbots baseados em inteligência synthetic na Índia estão rapidamente aprendendo vieses humanos prevalecentes na sociedade. Os pesquisadores descobriram amplas evidências da Índia e da pesquisa world que os algoritmos treinados em dados distorcidos do Silence, classificam, mal deturpam e excluem financeiramente os dalits.
A IA discrimina dalits, muçulmanos?
Experiências semelhantes foram notadas em países estrangeiros com preconceitos raciais e étnicos. Como os algoritmos são tão justos quanto os dados em que são treinados, eles são propensos a pegar esses vieses humanos. Verificou-se que os CVs dos nomes de castas superiores dominam as instituições de elite, enquanto os distritos de dalit e muçulmana-majority são marcados como “alto risco”. Da mesma forma, os sistemas de moderação de conteúdo são geralmente preparados pelo sentimento majoritário e, portanto, sinalizam as afirmações de Ambedkarite como “discurso de ódio”. Por outro lado, enquanto insultos de castaes como “Chamar” e “Chandal” deslizam por desmarcado.
Como a IA pega preconceitos de castas?
O motivo é claro: os sistemas de IA, particularmente aqueles baseados no aprendizado de máquina (ML), são treinados em grandes conjuntos de dados que refletem padrões do mundo actual. Se os dados de treinamento contiver vieses baseados em castas ou com comunicação, a IA poderá inadvertidamente captar esses vieses.
Se nas ferramentas de triagem de empregos, as decisões tendenciosas de contratação estiverem presentes nos dados históricos, a IA poderá continuar com a exclusão baseada em castas.
Como isso pode ser evitado?
A IA pode ser impedida de captar esses vieses humanos testando regularmente os sistemas de IA para padrões discriminatórios relacionados a castas. Isso também pode ser feito garantindo a representação equilibrada de diferentes grupos de castas nos dados de treinamento. Os vieses podem ser impedidos de entrar no sistema de IA, implementando métodos que detectam e mitigam o viés durante o treinamento do modelo.
