Um tribunal dos\nPa\u00edses Baixos (The Hague District Court) publicou recentemente senten\u00e7a\npioneira no \u00e2mbito digital. Os julgadores declararam ilegal e proibiram o uso,\npelo Estado neerland\u00eas, de um algoritmo destinado a combater v\u00e1rios tipos de\nfraude \u2013 tribut\u00e1rias, \u00e0 seguridade social, etc.<\/p>\n\n\n\n
O sistema adotado\npelo governo (SyRI – Systeem Risico Indicatie),\nutilizava-se de dados pessoais sens\u00edveis para calcular a probabilidade de que\ncidad\u00e3os solicitantes de benef\u00edcios de seguridade social fraudassem tanto as\ncontribui\u00e7\u00f5es quanto o pagamento de impostos, e tamb\u00e9m para recomendar ao Estado\nse uma pessoa deveria ser investigada em rela\u00e7\u00e3o a poss\u00edvel fraude ou\ndescumprimento de legisla\u00e7\u00e3o.<\/p>\n\n\n\n
O Tribunal\nneerland\u00eas entendeu que o sistema SyRI, al\u00e9m de ser discriminat\u00f3rio e\npreconceituoso \u2013 pois aplicado apenas a pessoas que precisam de seguridade\nsocial e implantado exclusivamente nos chamados bairros\n“problem\u00e1ticos”, com base no hist\u00f3rico socioecon\u00f4mico e no status de\nimigra\u00e7\u00e3o dos indiv\u00edduos \u2013 viola dispositivos da Conven\u00e7\u00e3o Europeia de Direitos\nHumanos, que versam sobre o respeito \u00e0 vida privada e familiar. <\/p>\n\n\n\n
Outra pol\u00eamica levantada\npelo caso, do ponto de vista jur\u00eddico, recai sobre a falta de transpar\u00eancia\nquanto ao modelo utilizado pelo algoritmo. Durante a audi\u00eancia, o governo dos\nPa\u00edses Baixos se recusou a divulgar informa\u00e7\u00f5es significativas sobre como o\nSyRI usa dados pessoais para inferir sobre poss\u00edveis fraudes \u2013 e sem essas\ninforma\u00e7\u00f5es, seria quase imposs\u00edvel para as pessoas suspeitas contestarem as\ndecis\u00f5es do governo de investig\u00e1-las por fraude. <\/p>\n\n\n\n
Aparentemente\nh\u00e1 um consenso quanto \u00e0 relev\u00e2ncia da transpar\u00eancia quando se fala em uso de\nalgoritmos. A transpar\u00eancia est\u00e1 no cora\u00e7\u00e3o do debate sobre o uso de\nintelig\u00eancia artificial em todos os sistemas jur\u00eddicos do mundo \u2013 a exemplo: a\nNova Lei de Prote\u00e7\u00e3o de Dados Brasileira, onde ela \u00e9 a palavra de ordem; nos\nEstados Unidos, a transpar\u00eancia de uso incorporou os 10 princ\u00edpios regulat\u00f3rios\nb\u00e1sicos editados em Janeiro deste ano, em mat\u00e9ria de uso de intelig\u00eancia\nartificial pelas Ag\u00eancias Federais; a Comiss\u00e3o Europeia elegeu a transpar\u00eancia\ncomo um dos princ\u00edpios \u00e9ticos essenciais para uso de intelig\u00eancia artificial na\nUE publicados em abril do ano passado.<\/p>\n\n\n\n
O princ\u00edpio da\ntranspar\u00eancia, em geral, pressup\u00f5e que a ferramenta de IA seja clara sobre como\ne porque se comporta de determinada maneira, quais s\u00e3o os dados utilizados, de\nque forma aquele algoritmo foi condicionado, etc. Assim como quem interage com\nos sistemas devem saber que se trata de IA, bem como quem s\u00e3o as pessoas e\nentes por ela respons\u00e1veis. <\/p>\n\n\n\n
O SyRI\nneerland\u00eas, por sua vez, \u00e9 um algoritmo de tipo \u201cblack box\u201d, e portanto\nbastante nebuloso sobre o processo de como toma decis\u00f5es. Ali\u00e1s, o uso de\ntecnologias black-box por si s\u00f3 levanta um problema, pois sua ess\u00eancia vai de\nencontro com as normas e princ\u00edpios que exigem transpar\u00eancia, controle,\nrastreabilidade e possibilidade de identificar os processos de decis\u00f5es dos\nalgoritmos. Parece imposs\u00edvel conciliar o uso dessa tecnologia com o princ\u00edpio\nda transpar\u00eancia.<\/p>\n\n\n\n
Mais dif\u00edcil\nainda \u00e9 exigir de privados a adequa\u00e7\u00e3o a este princ\u00edpio, se sequer os entes\np\u00fablicos o respeitarem.<\/p>\n\n\n\n
Por\u00e9m, para\nal\u00e9m dessas quest\u00f5es, um dos aspectos mais interessantes dessa decis\u00e3o \u00e9 o\nfundamento jur\u00eddico utilizado pelos julgadores para estabelecer a ilegalidade\ndo sistema SyRI. <\/p>\n\n\n\n
Parece natural\nque uma decis\u00e3o do g\u00eanero deveria trazer \u00e0 tona fundamentos jur\u00eddicos pautados\nno Regulamento Geral sobre a Prote\u00e7\u00e3o de Dados (RGPD) (UE), que traz\ndispositivos bastante espec\u00edficos quanto aos direitos dos usu\u00e1rios a se\nsujeitarem a decis\u00f5es baseadas exclusivamente em IA, etc.<\/p>\n\n\n\n
Por\u00e9m os\njulgadores se utilizaram como base jur\u00eddica t\u00e3o somente a viola\u00e7\u00e3o de um direito\nhumano para limitar a uso da tecnologia. E \u00e9 justamente a\u00ed que recai o\npioneirismo da senten\u00e7a, e abre uma linha de argumento legal para casos futuros.<\/p>\n\n\n\n
Ainda, ao interromper o uso SyRI, o Tribunal estabeleceu um precedente importante para a prote\u00e7\u00e3o dos direitos dos menos favorecidos na era da automa\u00e7\u00e3o. Os governos que se baseiam na an\u00e1lise de dados para policiar o acesso \u00e0 previd\u00eancia social – como os dos EUA, do Reino Unido e da Austr\u00e1lia – devem prestar aten\u00e7\u00e3o ao alerta sobre os riscos de direitos humanos envolvidos no tratamento de benefici\u00e1rios.<\/p>\n\n\n\n