No coração do Instituto de Tecnologia de Massachusetts (M.I.T.), uma das instituições científicas mais prestigiadas do mundo, uma pesquisadora se deparou com uma barreira invisível, mas profundamente violenta. Falamos da Joy Buolamwini, uma cientista da computação de 30 anos, negra, filha de imigrantes de Gana nascida no Canadá.
Ela trabalhava no desenvolvimento de um protótipo de espelho inteligente. A proposta consistia em um espelho cujo sistema fosse capaz de reconhecer o rosto que estava na sua frente e projetar no reflexo imagens de figuras inspiradoras. O dispositivo funcionava perfeitamente para traços específicos, porém recusava-se a detectar a presença da própria criadora. Diante da cegueira da Inteligência Artificial Generativa por trás da câmera e do computador, Buolamwini recorreu a um artifício rudimentar: vestiu uma máscara branca de fantasia. Instantaneamente, o algoritmo validou o reflexo artificial como um rosto humano.
O problema daquele espelho que não via a pele preta não era apenas um erro de programação pontual, nem um bug momentâneo. Na verdade, o problema em questão era um padrão persistente e discriminatório que rege o modo em que são desenvolvidos e treinados os modelos de inteligência artificial generativa.
O episódio serviu de instigação para que a pesquisadora formulasse o conceito de “olhar codificado” (coded gaze), uma ramificação contemporânea do olhar historicamente marcado pelo patriarcado e a branquitude. Essa categoria analítica escancara o viés marcado pela íntima relação entre as ferramentas tecnológicas e o poder para moldar essa tecnologia. Ele levanta questionamentos sobre de que maneira as prioridades, as escolhas e, fundamentalmente, os preconceitos de seus criadores são consolidados nas linhas de código que governam a sociedade digital.
Sistemas vendidos sob o verniz da neutralidade matemática operam, na verdade, como um caleidoscópio de distorção que, longe de projetar a humanidade em direção ao futuro, resgata e automatiza as segregações do passado. Um reflexo claro dessa dinâmica manifesta-se em plataformas de inteligência artificial generativa como o Stable Diffusion. Testes recentes apontam que comandos textuais para profissões de alta remuneração geram majoritariamente imagens de homens de pele clara, enquanto termos associados a estereótipos criminais, como traficantes ou detentos, resultam de forma desproporcional em representações de indivíduos de pele escura.
Os impactos do racismo algorítmico na vida real
As assimetrias do ambiente digital cobram um preço físico, material e imediato na vida das populações historicamente marginalizadas, manifestando-se por meio de uma violência estrutural automatizada. Nos Estados Unidos, a falibilidade desses sistemas de análise facial culminou na prisão injusta de Porcha Woodruff, uma mulher negra detida por autoridades policiais quando estava no oitavo mês de gestação e em pleno trabalho de parto, devido a um falso positivo gerado por um software de reconhecimento automatizado.
O perigo não reside em projeções distópicas de uma inteligência artificial superinteligente ou em robôs autônomos de ficção científica, mas sim nos danos concretos do presente. Carros autônomos que falham em detectar corpos de pele escura nas vias públicas, algoritmos que restringem o acesso a planos de saúde e seguros, e sistemas hospitalares que determinam quem receberá a doação de um órgão vital são exemplos palpáveis de como o viés tecnológico opera como um vetor de exclusão e morte.
No Brasil OSCs lutam pela regulação da IA
No Brasil, existem diversas iniciativas e organizações da sociedade civil (OSCs) que atuam para ampliar o debate público e lutar por regulamentações que mitiguem os danos sociais das tecnologias de inteligência artificial, como a DataPrivacy Brasil que possui um papel fundamental nas questões de proteção de dados e na análise de riscos da vigilância estatal e do uso de dados no campo penal.
Podemos citar também o trabalho da AqualtuneLab, um coletivo de juristas negros que trabalham para “racializar” o debate sobre direitos digitais, trazendo a perspectiva do racismo estrutural para a discussão tecnológica no Brasil. Esses projetos e iniciativas são muito importantes para evitar casos como o de Copacabana, no Rio de Janeiro, onde uma mulher foi detida após o sistema identificá-la erroneamente como Maria Lêda Félix da Silva. O erro foi agravado pelo fato de que a verdadeira procurada já estava presa há quatro anos, expondo que a polícia utilizava um banco de dados desatualizado.
O caso dessa prisão arbitrária e grave não apenas pelo caso pontual em si, mas porque ele escancara a gravidade do contexto em que estamos: Sob o pretexto de afastar a subjetividade e o preconceito da abordagem policial de rua, a automação transfere o racismo do olho do agente para a estrutura invisível do software, punindo preferencialmente a população negra.
Para ter uma noção mais clara do alcance dos projetos de reconhecimento facial no Brasil O Centro de Estudos de Segurança e Cidadania (CESeC), por meio do projeto O Panóptico vem realizando um mapeamento da implementação destas tenoclogias pelas polícias em todo o país. Todavia, junto com o avanço do uso dessas tecnologias, a sociedade civil vem se reorganizando em diversas frente, de modo a pressionar e incidir políticamente por políticas públicas pautadas no respeito aos direitos da cidadania, pressionado pela regularização e o controle do poder sem limite das big techs.
Um outro exemplo recente, mas de impacto, é a CTRL+Z, uma ONG brasileira criada pela Jornalista e ex-Head de Políticas Públicas do WhatsApp no Brasil, Daniela da Silva, para receber denúncias e cobrar a responsabilização de grandes empresas de tecnologia (as chamadas big techs), oferecendo suporte jurídico a usuários afetados e canais seguros para informantes internos.
Como elas, diversas organizações da sociedade civil, além de monitorar, denunciar e dar suporte jurídico a usuários, pressionam por uma regulação na implementação acelerada de tecnologias como o reconhecimento facial, argumentando que, sem controle e regulação claros, essas ferramentas acabam servindo para acelerar o encarceramento em massa da população já historicamente discrimanda, como a negra e as indígenas em geral, sob uma falsa premissa de neutralidade.
A mobilização de Joy Buolamwini e a liga da justiça algorítmica
A resistência contra essa distorção algorítmica articulou-se de forma transdisciplinar no ano de 2016, quando Joy Buolamwini fundou a Liga da Justiça Algorítmica (Algorithmic Justice League – AJL). Unindo arte, denúncia social e rigor científico, a organização converteu-se em um polo de contestação do poder das chamadas Big Techs. A atuação da Liga ganhou notoriedade no embate direto com a gigante Amazon, que tentou descredibilizar pesquisas revisadas por pares que expunham as falhas gritantes de seus softwares.
A contraofensiva científica angariou o apoio de mais de 70 pesquisadores de renome global e culminou em um estudo abrangente do Instituto Nacional de Padrões e Tecnologia (NIST) dos Estados Unidos. O citado estudo, validou oficialmente a existência de vieses profundos de raça, gênero e idade nas ferramentas comerciais de análise facial. A pressão política e técnica forçou corporações como a IBM, a Microsoft e a própria Amazon a recuarem e revisarem suas diretrizes corporativas de fornecimento dessas tecnologias.
A trajetória de Buolamwini, registrada no documentário Coded Bias e detalhada em seu livro Unmasking AI (desmascarando a IA), demonstra que o combate ao racismo estrutural na cibercultura exige a superação definitiva da crença na autorregulação das Big Techs. O manifesto que orienta essa trincheira se assenta na premissa de que qualquer pessoa que possua um rosto detém o direito legítimo de ocupar um espaço na formulação e na governança dos sistemas de inteligência artificial.
Democratizar o debate tecnológico e submeter os algoritmos ao crivo dos direitos humanos constitui o único caminho viável para impedir que os dados continuem a ser instrumentalizados como ferramentas de discriminação, assegurando um horizonte onde a soberania tecnológica esteja a serviço do bem-viver e da emancipação coletiva.
Leia também na Revista Pluriverso: Inteligência Artificial: mas a que custo? de Sofía Trejo que é doutora em Matemática e atua no Instituto de Ética da Inteligência Artificial de Montreal. Seu trabalho de pesquisa se concentra em examinar os preconceitos algorítmicos e o papel da inteligência artificial na sociedade.
Julia Barbosa é parte da Equipe Editorial da Revista Pluriverso.
Claudio Barría é músico, doutor em Educação pela UFF, pesquisador do NIRA/FFP/UERJ e membro fundador do Coletivo Pluriverso e do Conselho Editorial da Revista Pluriverso.
(*) para a criação deste conteúdo foram utilizados recurso de IA generativa nos processos de pesquisa e sistematização de dados e fontes.
