Um tribunal dos Países Baixos (The Hague District Court) publicou recentemente sentença pioneira no âmbito digital. Os julgadores declararam ilegal e proibiram o uso, pelo Estado neerlandês, de um algoritmo destinado a combater vários tipos de fraude – tributárias, à seguridade social, etc.
O sistema adotado pelo governo (SyRI – Systeem Risico Indicatie), utilizava-se de dados pessoais sensíveis para calcular a probabilidade de que cidadãos solicitantes de benefícios de seguridade social fraudassem tanto as contribuições quanto o pagamento de impostos, e também para recomendar ao Estado se uma pessoa deveria ser investigada em relação a possível fraude ou descumprimento de legislação.
O Tribunal neerlandês entendeu que o sistema SyRI, além de ser discriminatório e preconceituoso – pois aplicado apenas a pessoas que precisam de seguridade social e implantado exclusivamente nos chamados bairros “problemáticos”, com base no histórico socioeconômico e no status de imigração dos indivíduos – viola dispositivos da Convenção Europeia de Direitos Humanos, que versam sobre o respeito à vida privada e familiar.
Outra polêmica levantada pelo caso, do ponto de vista jurídico, recai sobre a falta de transparência quanto ao modelo utilizado pelo algoritmo. Durante a audiência, o governo dos Países Baixos se recusou a divulgar informações significativas sobre como o SyRI usa dados pessoais para inferir sobre possíveis fraudes – e sem essas informações, seria quase impossível para as pessoas suspeitas contestarem as decisões do governo de investigá-las por fraude.
Aparentemente há um consenso quanto à relevância da transparência quando se fala em uso de algoritmos. A transparência está no coração do debate sobre o uso de inteligência artificial em todos os sistemas jurídicos do mundo – a exemplo: a Nova Lei de Proteção de Dados Brasileira, onde ela é a palavra de ordem; nos Estados Unidos, a transparência de uso incorporou os 10 princípios regulatórios básicos editados em Janeiro deste ano, em matéria de uso de inteligência artificial pelas Agências Federais; a Comissão Europeia elegeu a transparência como um dos princípios éticos essenciais para uso de inteligência artificial na UE publicados em abril do ano passado.
O princípio da transparência, em geral, pressupõe que a ferramenta de IA seja clara sobre como e porque se comporta de determinada maneira, quais são os dados utilizados, de que forma aquele algoritmo foi condicionado, etc. Assim como quem interage com os sistemas devem saber que se trata de IA, bem como quem são as pessoas e entes por ela responsáveis.
O SyRI neerlandês, por sua vez, é um algoritmo de tipo “black box”, e portanto bastante nebuloso sobre o processo de como toma decisões. Aliás, o uso de tecnologias black-box por si só levanta um problema, pois sua essência vai de encontro com as normas e princípios que exigem transparência, controle, rastreabilidade e possibilidade de identificar os processos de decisões dos algoritmos. Parece impossível conciliar o uso dessa tecnologia com o princípio da transparência.
Mais difícil ainda é exigir de privados a adequação a este princípio, se sequer os entes públicos o respeitarem.
Porém, para além dessas questões, um dos aspectos mais interessantes dessa decisão é o fundamento jurídico utilizado pelos julgadores para estabelecer a ilegalidade do sistema SyRI.
Parece natural que uma decisão do gênero deveria trazer à tona fundamentos jurídicos pautados no Regulamento Geral sobre a Proteção de Dados (RGPD) (UE), que traz dispositivos bastante específicos quanto aos direitos dos usuários a se sujeitarem a decisões baseadas exclusivamente em IA, etc.
Porém os julgadores se utilizaram como base jurídica tão somente a violação de um direito humano para limitar a uso da tecnologia. E é justamente aí que recai o pioneirismo da sentença, e abre uma linha de argumento legal para casos futuros.
Ainda, ao interromper o uso SyRI, o Tribunal estabeleceu um precedente importante para a proteção dos direitos dos menos favorecidos na era da automação. Os governos que se baseiam na análise de dados para policiar o acesso à previdência social – como os dos EUA, do Reino Unido e da Austrália – devem prestar atenção ao alerta sobre os riscos de direitos humanos envolvidos no tratamento de beneficiários.
Isadora Savazzi Rizzi
Advogada – Trajano Neto e Paciornik Advogados
Versão em inglês da sentença proferida pela The Hague District Court disponível em: https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBDHA:2020:1878
