Vigilância algorítmica: banalidade e desvirtuamento de função, com Gabriel Pereira
Quais são algumas das características dos processo atuais de vigilância algorítmica? Essa foi uma questão disparadora da palestra ‘Vigilância Algorítmica e fluxos urbanos: reconhecimento de placas e contra-capturas’ proferida por Gabriel Pereira. Ocorrida no dia 17 de maio, o evento fez parte da série “Assimetrias e invisibilidades urbanas” e foi organizado pelo Programa de Pós-Graduação em Gestão Urbana (PPGTU), Jararacalab, Observatório das Metrópoles – Núcleo Curitiba e Rede Lavits.
Em entrevista a Lavits, Gabriel Pereira, que é pós-doutorando do Fundo de Pesquisa Independente da Dinamarca (DFF) e pesquisador visitante na London School of Economics and Political Science (UK), conversa sobre a pesquisa que realizou em torno do reconhecimento automático de placas veiculares na Dinamarca. Pereira discorre sobre a noção de ‘vigilância banal’, sobre o tecnosolucionismo nunca efetivado dessas práticas e ferramentas e sobre como o funcionamento e os usos delas não correspondem exatamente ao projeto inicial, seja por mau desempenho, erros, falhas técnicas, como também por apropriações e utilizações não planejadas.
Lavits: Você argumenta que a implementação de tecnologias de monitoramento aparentemente corriqueiras e de pouco impacto social, como as ferramentas de reconhecimento automático de placas de automóveis, tem como efeito tornar os processos de vigilância mais aceitáveis do ponto de vista político e social. Como a noção de ‘vigilância banal’ que você propõe nos ajuda a entender estes processos, seus riscos e consequências?
GP: Esta noção de vigilância banal surgiu da pesquisa que eu e o Prof. Christoph Raetzsch fizemos sobre reconhecimento automático de placas veiculares na Dinamarca. O que notamos foi que esta é uma tecnologia de vigilância algorítmica que está se tornando cada vez mais comum, um elemento banalizado da vida cotidiana nas cidades e estradas. É importante explicar que esta tecnologia não é composta somente de câmeras “inteligentes” que capturam placas de veículos, mas sim de largas infraestruturas que incluem por exemplo bancos de dados e interfaces para análise de movimentos veiculares.
Quem vê uma câmera destas numa rua não necessariamente entende os complexos processos que se passam por trás da sua operação. Assim, as pessoas não têm noção de como estes dados podem ser usados de maneiras potencialmente problemáticas pela polícia, por reguladores ambientais, ou mesmo por operadores de estacionamentos. A vigilância algorítmica passa, então, a ser implementada sem uma discussão pública efetiva sobre o que estes sistemas implicam, sem uma visibilidade do que realmente ocorre. São sistemas complexos, mas também há frequentemente uma falta de interesse do poder público em explicar seus usos e perigos à sociedade.
A consequência destes sistemas se tornarem cada vez mais banais é que existe um grande potencial de desvirtuamento de função (function creep, em Inglês), que é quando tecnologias passam ser usadas para usos diferentes e mais amplos do que quando foram inicialmente instaladas. Como estas são infraestruturas que estão para além da discussão pública, estas mudanças podem ocorrer sem serem amplamente percebidas pela sociedade. Um exemplo disto é quando a cidade de Londres recentemente passou a compartilhar todos os dados gerados pelas câmeras de reconhecimento de placas veiculares, inicialmente usadas somente para fins de zoneamento ambiental, com a Polícia Metropolitana.
Lavits: Na implementação de diversas tecnologias percebemos que o funcionamento e os usos delas não correspondem exatamente ao projeto inicial, seja por mau desempenho, erros, falhas técnicas, como também por apropriações e utilizações não planejadas pelos desenvolvedores. Qual a importância de se investigar e se inquirir a implementação das tecnologias em contextos diferentes e específicos?
GP: Esta é uma grande questão, especialmente quando discutimos tecnologias que são banais e pouco entendidas pela população em geral. Na maioria das vezes, tecnologias de vigilância algorítmica são vendidas com grandes promessas de que irão resolver uma enormidade de problemas e automatizar por completo várias tarefas complexas. Este “tecnosolucionismo” não se concretiza de fato, pois estes são sistemas com todos os tipos de imprecisões, limitações, e uma diversidade de vieses. Isto sem falar que estas ditas soluções frequentemente geram novas consequências e problemas.
Várias destas questões são muito contextuais, e vão depender largamente de onde e como são aplicadas. Um exemplo disto é que, na Dinamarca, as câmeras de reconhecimento de placas veiculares usadas para fins de zoneamento ambiental seguem uma legislação muito mais estrita de privacidade que em Londres. Na Dinamarca, as câmeras somente guardam os dados de carros que não são permitidos entrada nas cidades, ou seja, a pequeníssima minoria de carros altamente poluentes. Como poucos dados são gerados, não há interesse da Polícia de acessar estas informações e, portanto, não houve até agora um desvirtuamento de função como em Londres.
Posso adicionar um terceiro contexto diferente neste debate: recentemente vimos o PCC acessando dados de movimentos veiculares pertencentes ao sistema Detecta, do Governo de São Paulo. Isto é consequência da força do crime organizado no Brasil, assim como da falta de segurança de dados governamentais no país. Enfim, todas estas são questões contextuais que trazem consequências para como devemos entender a produção e governança de dados gerados por vigilância algorítmica, assim como as injustiças e violências que podem daí decorrer.
Lavits: Frequentemente as preocupações sobre os impactos e os riscos na utilização de algumas tecnologias, especialmente por parte de pesquisadores e ativistas, podem ser exageradas. Vimos recentemente isso acontecer no debate público após o lançamento do ChatGPT-3, por exemplo. Foi apontado que a justa inquietação com os possíveis efeitos de LLMs na sociedade contribuiu para a percepção de que estas ferramentas são mais poderosas do que realmente são. Inclusive tendo o efeito colateral de ajudar na propaganda e marketing das empresas que comercializam e desenvolvem estas ferramentas. Como fugir das armadilhas do ‘criti-hype’ e investigar o funcionamento de fato das tecnologias na sociedade?
GP: O termo ‘criti-hype’ é sugerido pelo pesquisador Lee Vinsel, e acho que ele faz esta análise muito bem. Temos exatamente que ter cuidado para entender como tecnologias funcionam de fato, ao invés de repetir o discurso (frequentemente exagerado) das empresas que vendem estas tecnologias. Por exemplo, muitas vezes no debate sobre vigilância algorítmica, há uma tendência de se inflar as suas capacidades preditivas e apresentar estas tecnologias como panópticos que tudo veem e entendem. Esta é uma mentira: como discutimos, são tecnologias que tem todos os tipos de erros e imprecisões. Um exemplo disto é a análise de vídeos de vigilância por algoritmos: embora empresas e polícias pelo mundo digam que algoritmos já podem automaticamente detectar crimes com câmeras de vigilância “inteligentes”, estes algoritmos estão longe de produzir dados confiáveis.
Isto significa que temos que ter um cuidado grande em como estudamos sistemas contemporâneos tecnologias de vigilância algorítmica. Acredito que o nosso trabalho como pesquisadores críticos deve ser exatamente de questionar a eficiência destes sistemas e seus imaginários, evitando assim dar credibilidade a alegações exageradas. Precisamos entender como estas tecnologias são usadas de fato, seus impactos reais, assim como suas configurações em contextos específicos. Se não fizermos isto e focarmos no hype, o que é muitas vezes mais fácil, terminamos por ignorar os muito reais problemas gerados por estes sistemas.
Lavits: Parte das suas investigações foca na visão computacional. Um debate recorrente no campo dos estudos de vigilância diz respeito a um certo privilégio da visão e do olhar nas pesquisas e nos discursos sobre os processos de vigilância. Como você se posiciona?
GP: De fato, há uma priorização da pesquisa sobre os elementos visuais da vigilância, muito porque vivemos numa sociedade que prioriza a percepção visual. No entanto, um movimento recente tem sido de entender como, hoje, a percepção visual não é somente visual. Veja: são cada vez mais comuns câmeras que capturam imagens não pictoriais, como os LIDAR (sigla para ‘Light Detection and Ranging‘, detecção e alcance de luz) ou outros sensores de espaço. Um exemplo recente disto é o Face ID da Apple, usado para desbloquear o celular, que usa feixes infravermelhos para capturar a profundidade de pontos do rosto. Com isto, fica cada vez mais necessário alterar e ampliar o que entendemos por “visão algorítmica”. Há muitas questões a serem exploradas nesse alargamento, particularmente para considerar como essas novas visibilidades podem implicar em novos desequilíbrios de poder e injustiças algorítmicas.
