Perspectivas enviesadas alimentam tecnologias racistas

Presente na ação Tecnologias e Artes em Rede: Tecnologias Negras – em um ciclo no Centro de Pesquisa e Formação e um bate-papo no Sesc Avenida Paulista – em outubro, o professor Tarcízio Silva, mestre em Comunicação e Cultura Contemporâneas pela Universidade Federal da Bahia e doutorando em Ciências Humanas e Sociais na UFABC, concedeu à EOnline uma entrevista sobre seu atual objeto de pesquisa: o racismo incorporado nas tecnologias digitais.

À ideia de que as complexas tecnologias contemporâneas seriam isentas de viéses, pois elaboradas a partir de estruturas matemáticas incapazes de fomentar o racismo e a discriminação, pesquisadores no Brasil e no mundo vêm apresentando evidências no sentido contrário, mostrando que as desigualdades sociais são reproduzidas e intensificadas no desenvolvimento de máquinas e aplicativos que nos cercam.
 

*
 

EOnline: Quais os exemplos de tecnologias racistas que podemos encontrar a nossa volta cotidianamente?
Tarcízio Silva: É importante lembrar que não se trata apenas de tecnologias digitais, algoritmos ou inteligência artificial. Um dos casos mais famosos no estudo da ciência e racismo foi o desenvolvimento do 'espirômetro', o equipamento médico que mede capacidade e função pulmonar. Desde o século XIX existia a falsa crença nos Estados Unidos que negros teriam capacidade pulmonar menor do que não-negros. Esta crença foi usada para exagerar diferenças biológicas entre grupos humanos e desumanizar negros, tendo sido ligada a diversas reedições de exploração e discriminação. A cientista Lundy Braum documentou em livro como em plena década de 1990 uma empresa fez lobby usando estas falsas crenças médicas para evitar indenizar funcionários negros acometidos por doenças causadas por contato com amianto.

O meu foco atual de pesquisa está no 'racismo algorítmico', que são os modos pelos quais o racismo é incorporado, intensificado e ocultado em tecnologias digitais baseadas em supostas automações e decisões neutras a partir de algoritmos e inteligência artificial.

Entre os casos que geram mais repercussão estão os ligados a reconhecimento facial. Na última década, ativistas, desenvolvedoras e imprensa documentaram diversos softwares e robôs que não conseguiram 'ver' pessoas negras ou suas características. De computadores da HP a Facebook e aplicativos como FaceApp, o reconhecimento facial falhou consistentemente contra pessoas negras. Entre os motivos está o trabalho mal feito de 'treinamento de máquina'. O que se chama de inteligência artificial hoje é, em grande medida, aplicações de aprendizado de máquina: reconhecimento e reproduções de padrões em bancos de dados já existentes. Mas, quando os dados são enviesados e representam um mundo desigual, o sistema reproduz e intensifica esta desigualdade, e, no final, os desenvolvedores negam os problemas, temos pouco de inteligência.

Ao mesmo tempo que estas tecnologias são muito imprecisas e mal construídas, estão sendo aplicadas por inúmeras prefeituras e governos em torno do mundo para hiper-vigiar e perseguir minorias. Pensadores como Ruha Benjamin falam de uma 'imaginação carcerária' que direciona a construção de muitas tecnologias hoje. Mas entre precisão e imprecisão precisamos nos perguntar se a tecnologia é solução para tudo e quais tecnologias devem ser disseminadas ou não. Reconhecimento facial para vigilância e policiamento é uma delas e algumas cidades isoladas como San Francisco já tomaram atitudes para proibir.

 

Tarcízio Silva, professor, mestre e doutorando em Comunicação e diretor de pesquisa do Instituto Brasileiro de Pesquisa e Análise de Dados | Foto: Acervo pessoal

EOnline: Quem está estudando, pesquisando, monitorando esse aspecto das tecnologias?
Tarcízio Silva: Com diferentes objetivos, muitos tipos de atores institucionais, acadêmicos e comerciais. No caso da academia e campo profissional da computação, é relevante lembrar que a concentração por gênero e raça é gigantesca. No início dos anos 1980, por exemplo, mulheres eram mais de 35% das graduadas em Ciência da Computação nos EUA. Nesta década, porém, a taxa caiu para menos de 20%. Na medida em que mais dinheiro e poder circulou no boom do Vale do Silício e núcleos similares, grupos minorizados passaram a enfrentar mais dificuldades no campo profissional. Hoje parte da imprensa e público está discutindo as contradições das grandes corporações de tecnologia, mas em alguns meios esse debate não é nada novo. De 2001, o livro Technicolor: Race, Technology, and Everyday Life, organizado por Alondra Nelson, Thuy Tu e Alicia Hines é um exemplo de produção que traz muita informação a partir do ponto de vista das mulheres latinas e negras no mercado de tecnologia estadunidense, por exemplo.

As reações e contra-narrativas a estes problemas de concentração demográfica e política na construção das tecnologias hegemônicas se intensificam e aprofundam com a produção de desenvolvedores e pensadores de grupos minorizados. Boa parte dos grandes casos e estudos contemporâneos sobre tecnologia e sociedade são provenientes dessas pessoas que trazem olhares intersecionais para a questão. Recomendaria, por exemplo, as produções de Ruha Benjamin, Andre Brock, Meredith Broussard, Sil Bahia, Safiya Noble, Fernanda Carrera, Julia Angwin, Timnit Gebru, Rayvon Fouché e outros no Brasil, EUA e mundo que observam a tecnologia de pontos de vista não-hegemônicos.

EOnline: Há outros aspectos do universo das tecnologias que estejam na mira, digamos assim, de quem pensa o combate à discriminação e ao racismo – especialmente do ponto de vista das pessoas negras?
Tarcízio Silva: Com certeza! A identificação, diagnóstico e remediação sobre o racismo algorítmico é uma das frentes importantes de atuação, mas a questão vai muito além. Poderia destacar sobretudo o esforço de grupos ativistas na promoção de conhecimento e formação tecnológica e crítica sobre programação, desenvolvimento e produtos digitais. Olabi, Afrotech, Minas Programam, QuebraDev, AfroPython e iniciativas do tipo buscam superar barreiras racistas e machistas que excluem grande parte da população do ensino e prática do desenvolvimento, programação e pensamento sobre tecnologias, código e aplicativos no Brasil.

EOnline: No contexto das tecnologias/algoritmos racistas, o que a sociedade e as empresas podem fazer para mudar essa realidade?
Tarcízio Silva: O primeiro ponto é refletir, analisar e debater as relações entre tecnologia e possíveis opressões. Na minha produção estou desenvolvendo o conceito de 'dupla opacidade', para dar conta da interseção entre a negação do debate tanto sobre a tecnologia quanto sobre questões raciais. Sobre tecnologias digitais persiste a ideia de que seriam neutras, apenas uma questão de matemática, ignorando os modos de construção, contexto social e decisões incorporadas.

E sobre a questão racial, muitos fingem acreditar que é uma questão superada por, obviamente, não ser uma questão biológica. Raça foi construída desde sempre como um marcador e conceito social usado por grupos hegemônicos para distribuir privilégios para poucos e exploração para muitos. Ao promover ideias racistas de 'democracia racial', parte da sociologia brasileira escondeu o debate real e sincero sobre raça, racismo, branquitude, negritude e outras racializações. Neste contexto, a primeira barreira a ser superada é uma verdadeira epistemologia da ignorância que foge do debate para manter as estruturas de dominação.

EOnline: Você diria que quem produz uma tecnologia, um dispositivo tecnológico ou um algoritmo embute nele seus próprios pré-conceitos? Como se evita isso?
Tarcízio Silva: Sim, produtores de tecnologia podem embutir preconceitos e crenças discriminatórias de forma intencional ou não-intencional. Porém é importante chegarmos a consensos sobre o papel do 'viés' ou do 'não-intencional'. Independente da intenção de alguém, se uma tecnologia é discriminatória em algum aspecto ela vai ter impactos negativos para grupos minorizados. Neste caso, além da responsabilização e remediação, é preciso propor e regulamentar procedimentos ideais para evitar que tecnologias problemáticas cheguem ao mercado ou em políticas públicas.

A rigor, para evitar problemas como os citados, o ideal seria uma transformação social da magnitude que faça com que a busca desenfreada por lucro e o racismo deixem de ser motivadores de grande parte dos empreendimentos. Enquanto isto não acontece, remediações são desenvolvidas. Gosto especialmente do caso do GenderShades.org, liderado pela desenvolvedora e ativista Joy Buolamwini. Com apenas algumas colaboradoras, ela desenvolveu uma base de treinamento para sistemas de visão computacional que provou ser melhor do que as da IBM, Microsoft e Face++, que possuem centenas de desenvolvedores em seus times. A grande questão é que entre as equipes dessas empresas, temos sempre o mesmo perfil de pessoas, sem diversidade. Então um ponto inicial é a promoção da diversidade – não só por uma sociedade melhor, mas também porque homofilia social nas empresas é garantia de incompetência.

Inúmeras organizações de promoção do desenvolvimento econômico têm enfatizado critérios importantes para o uso de inteligência artificial e aprendizado de máquina. O Fórum Econômico Mundial, por exemplo, propõe quatro itens principais: inclusão ativa, equidade, direito ao entendimento e acesso a remediação. Este último está em discussão também no campo legislativo em diversos países e acredito que a regulação pela sociedade, através de instrumentos legais é essencial. A nossa Lei Geral de Proteção aos Dados, por exemplo, pode incluir a especificação do conceito de decisão automatizada e o direito do cidadão de exigir explicação e informações claras e inequívocas sobre os critérios e procedimentos sobre as tecnologias que lhe afetam.
 

*

Tarcízio Silva participa do ciclo Humanidades Digitais Negras, com Morena Mariah, Taís Oliveira, Larisse Pontes e Fernanda Sousa, nos dias 2, 3 e 4 de outubro, das 19h30 às 21h30, no Centro de Pesquisa e Formação do Sesc, em São Paulo. E, no dia 19 de outubro, às 14h30, conversa com Fernanda Monteiro e Rodolfo Avelino, no Sesc Avenida Paulista, sobre Machine Learning, Algoritmos e Mecanismos de Discriminação.

Essas programações fazem parte da ação Tecnologias e Artes em Rede: Tecnologias Negras, que conta, em outubro, em todas as unidades do Sesc São Paulo – na capital, no interior e no litoral –, com mais de 150 atividades que celebram o protagonismo da pessoa negra nas artes visuias e nas tecnologias.