Antecedentes

1. Nos últimos anos, a inteligência artificial (IA) tem permeado todos os aspetos das nossas vidas, do trivial ao altamente consequente, como a tomada de decisões relacionadas com diagnósticos médicos ou benefícios de segurança social.

2. A Provedora de Justiça Europeia tem acompanhado de perto este tema e, em março de 2021, organizou um webinário sobre IA e administração pública em linha para a Rede Europeia de Provedores de Justiça (ENO). Muitas das questões suscitadas pela IA dizem respeito a domínios fundamentais do trabalho de um provedor de justiça, como a transparência, a responsabilização da tomada de decisões, a ética e os direitos fundamentais. Alguns serviços de provedoria de justiça a nível nacional já trataram queixas e emitiram orientações ^[1] relacionadas com a utilização da IA.

3. Em 2021, a Comissão Europeia apresentou uma proposta de um novo regulamento da UE que rege a IA: o projeto de «Regulamento Inteligência Artificial»^[2]. A proposta reveste-se de interesse imediato para o Provedor de Justiça Europeu e para os membros da ENO. Prevê que as autoridades sejam designadas ou estabelecidas a nível nacional para assegurar a aplicação do regulamento. Quando as instituições, órgãos, organismos e agências da UE são abrangidos pelo âmbito de aplicação do regulamento, prevê-se que a Autoridade Europeia para a Proteção de Dados (AEPD) atue como autoridade de controlo competente. A proposta visa assegurar um elevado nível de proteção dos direitos fundamentais, incluindo o direito a uma boa administração, bem como a conformidade com os princípios da boa administração ^[3]. 

4. Neste contexto, em junho de 2021, a Provedora de Justiça escreveu à Comissão e à AEPD solicitando reuniões para obter mais informações sobre a proposta e debater a forma como as futuras regras funcionariam no que diz respeito à administração da UE e às administrações públicas em geral. O objetivo desta iniciativa estratégica era manter os membros da ENO informados sobre estes importantes desenvolvimentos a nível da UE e ajudar a preparar o Gabinete do Provedor de Justiça Europeu para eventuais trabalhos futuros neste domínio, nomeadamente em termos de tratamento de eventuais queixas relativas a má administração por parte das instituições da UE ^[4].

A proposta de Regulamento Inteligência Artificial e as normas relacionadas com a transparência, os direitos fundamentais e os princípios da boa administração

5. A proposta de Regulamento Inteligência Artificial visa estabelecer regras uniformes para os sistemas de IA no mercado da UE. Apresenta regras aplicáveis a todo o ciclo de vida da IA, incluindo a colocação no mercado, a colocação em serviço e a utilização de sistemas de IA.

6. A proposta de Regulamento Inteligência Artificial utiliza uma abordagem baseada no risco, o que significa que a intervenção regulamentar só é necessária quando necessária, em função do nível de risco para a segurança e os direitos fundamentais que um sistema de IA é suscetível de representar. A proposta classifica os sistemas de IA em quatro categorias:

• risco inaceitável (existem quatro práticas de IA proibidas, incluindo a exploração de vulnerabilidades de determinadas pessoas),
• sistemas de IA de risco elevado (autorizados, mas sujeitos ao cumprimento de requisitos),
• IA que apresenta determinados riscos relacionados com a transparência (autorizada sob reserva de obrigações de informação), e
• IA que represente um risco mínimo ou nulo (autorizada sem restrições adicionais, mas com eventual cumprimento de códigos de conduta voluntários).

7. Nos termos da proposta de Regulamento Inteligência Artificial, as obrigações dos fornecedores incluem o registo de sistemas de IA autónomos numa base de dados pública da UE e a comunicação às autoridades de fiscalização do mercado de incidentes graves e anomalias que possam representar riscos para os direitos fundamentais.

8. As obrigações dos utilizadores incluirão assegurar a supervisão humana aquando da utilização de sistemas de IA (essenciais para as autoridades públicas) e informar o fornecedor ou distribuidor sobre qualquer incidente grave ou qualquer mau funcionamento.

9. O projeto de Regulamento Inteligência Artificial inclui várias disposições em matéria de transparência, nomeadamente a obrigação de informar proativamente os utilizadores de que estão a interagir com um sistema de IA. Estas obrigações de transparência são consideradas complementares das previstas na legislação em vigor, como a legislação em matéria de proteção dos consumidores ou de proteção de dados a nível nacional e da UE.

10. A fim de abordar, em especial, a opacidade e assegurar a transparência perante o público em geral, a proposta de Regulamento Inteligência Artificial inclui disposições sobre:

1. transparência e rastreabilidade dos sistemas de IA de risco elevado

2. Direitos de acesso das autoridades de controlo competentes

3. Transparência para com as pessoas afetadas (as pessoas devem ser informadas quando utilizam determinados sistemas de IA, incluindo quando não são classificadas como de risco elevado)

4. Supervisão pública: Base de dados de IA de risco elevado autónoma acessível ao público a nível da UE.

11. Quando as pessoas sentem que os seus direitos foram violados por um sistema de IA, prevê-se que possam procurar obter reparação através das autoridades de fiscalização do mercado e/ou de outras autoridades existentes, como as instituições de provedoria de justiça, as autoridades de proteção de dados, as autoridades de proteção dos consumidores, as autoridades de luta contra a discriminação, etc. Estas autoridades teriam então o poder de solicitar o acesso a todas as informações pertinentes relativas ao sistema de IA em causa. A possibilidade de contactar as instituições existentes significa que o público não terá de se dirigir a autoridades novas e desconhecidas e que existe uma abordagem coerente para lidar com as questões. Se necessário, as autoridades competentes terão poderes para analisar o sistema de IA em causa, mesmo incluindo o código-fonte.

12. Quanto à estrutura de governação da lei, esta baseia-se num sistema que abrange os níveis nacional e da UE. O nível nacional desempenharia um papel fundamental na aplicação da legislação através das autoridades nacionais de fiscalização do mercado. A nível da UE, coordenaria a aplicação e procederia ao intercâmbio de informações através de um Comité da UE para a IA. Haverá também um grupo de peritos da Comissão para aconselhamento técnico e científico, no qual estarão representadas todas as partes interessadas pertinentes (sociedade civil, meio académico, empresas, etc.).

13. Nos termos do projeto de Regulamento Inteligência Artificial, os serviços de provedoria podem potencialmente ser identificados pelos Estados-Membros como o organismo nacional competente para garantir a proteção dos direitos fundamentais. Estes organismos terão o direito de aceder a documentos e informações essenciais e poderão recorrer a novos mecanismos de cooperação com as autoridades de fiscalização do mercado.

14. Em termos de execução, será importante ponderar a forma como as autoridades nacionais responderão às suas novas funções ao abrigo do projeto de Regulamento Inteligência Artificial, o que pode resultar na sobreposição ou inter-relação de poderes e mandatos entre diferentes tipos de autoridades nacionais. Por exemplo, o projeto de ato inclui uma proposta (no artigo 63.o) de que, para os sistemas de IA utilizados para a aplicação da lei e a gestão da migração, do asilo e do controlo das fronteiras, a autoridade de fiscalização do mercado será a autoridade competente para supervisionar a proteção de dados. Se existirem casos em que diferentes autoridades nacionais tenham competências sobrepostas ou inter-relacionadas, essas autoridades devem cooperar estreitamente para assegurar uma aplicação coerente.

15. A proposta está atualmente a ser negociada pelo Conselho e pelo Parlamento Europeu. Uma vez adotado, haverá um período de transição de dois anos, após o qual o Regulamento Inteligência Artificial deverá tornar-se diretamente aplicável na sua totalidade e obrigatório para os operadores.

A IA e a administração da UE

16. As instituições, órgãos e organismos da UE serão abrangidos pela proposta de Regulamento Inteligência Artificial quando atuarem como fornecedores ou utilizadores de sistemas de IA.

17. Quando as instituições, órgãos, organismos e agências da UE estão a desenvolver os sistemas internamente (e não a «comprá-los como produto finalizado» do mercado), serão considerados «fornecedores» quando colocarem esses sistemas em serviço para uso próprio. Por conseguinte, teriam de cumprir os requisitos pertinentes, incluindo a qualidade dos dados, a transparência e a supervisão humana.

18. Se uma autoridade pública não estiver a desenvolver o sistema internamente, mas a adquiri-lo «fora da prateleira», será considerada um utilizador e terá de cumprir todas as obrigações daí decorrentes, incluindo as obrigações de transparência para com as pessoas afetadas.

19. A IA já está a ser utilizada pela administração da UE em diferentes domínios, como, por exemplo, a tradução: a plataforma da Conferência sobre o Futuro da Europa inclui uma ferramenta de tradução ^[5]. Outros exemplos incluem o sistema de alerta rápido e de preparação da Agência da União Europeia para o Asilo e os instrumentos utilizados pela Agência Europeia da Guarda de Fronteiras e Costeira (Frontex) para a definição de perfis de risco, por exemplo de navios.

20. Alguns exemplos de aplicações de IA planeadas pela administração da UE incluem:

• Um projeto da Direção-Geral das Comunicações (DG COMM) da Comissão para reforçar a interação com os cidadãos nas redes sociais.
• Um projeto da DG COMM e do Europe Direct para criar um repositório de conhecimentos sobre as informações de que os membros do pessoal necessitam para responder às perguntas dos cidadãos sobre os seus direitos, em especial ligando e recuperando informações que possam ser pertinentes. A IA também pode ser utilizada para a classificação de perguntas.
• O Eurostat está a ponderar a utilização de assistentes virtuais (chat bots) na sua comunicação sobre informação estatística.
• A Agência da UE para a Gestão Operacional de Sistemas Informáticos de Grande Escala no Espaço de Liberdade, Segurança e Justiça (eu-LISA) tenciona melhorar o desempenho das suas bases de dados, em especial do Sistema de Informação de Schengen, através da IA, incluindo a melhoria da exatidão dos dados biométricos.
• O Serviço Europeu de Seleção do Pessoal está a estudar a possibilidade de utilizar a IA para atividades de recrutamento.

21. Em consonância com as suas futuras obrigações ao abrigo da proposta de Regulamento Inteligência Artificial, a Comissão já começou a trabalhar no sentido de elaborar um código de conduta e orientações para o desenvolvimento e a utilização da IA.

A AEPD e a proposta de Regulamento Inteligência Artificial

22. Com base no atual texto da proposta de Regulamento Inteligência Artificial, a AEPD terá três funções principais:

1.  Autoridade de controlo competente: a AEPD assegurará que as instituições da UE cumprem o Regulamento Inteligência Artificial, que inclui o acompanhamento e a aplicação do mesmo.

2. Organismo notificador: pelo menos em alguns casos, a AEPD realizará avaliações da conformidade para as instituições da UE que desenvolverão sistemas de IA de risco elevado.

3. Autoridade de fiscalização do mercado: ainda não é claro o que isso implicará. A AEPD manifestou as suas dúvidas no seu parecer conjunto do CEPD-AEPD sobre o Regulamento Inteligência Artificial e solicitou à Comissão esclarecimentos sobre o que será o mercado da IA para as instituições, órgãos e organismos da UE e se a sua supervisão abrangerá apenas as instituições da UE ou também terceiros e empresas privadas que fornecem sistemas e serviços de IA.

23. A AEPD fará igualmente parte do novo Comité Europeu para a IA, que emitirá pareceres e recomendações sobre questões de IA. Em termos gerais, tal implicará trabalhos preparatórios para acompanhar as últimas atualizações da tecnologia de IA e acompanhar os processos de normalização.

24. A AEPD considera que são necessários mais esclarecimentos sobre a legislação em matéria de IA, a fim de especificar o alcance das suas novas funções e ver de que forma o Regulamento Inteligência Artificial afetará e interagirá com a legislação em vigor em matéria de proteção de dados ^[6].

25. De acordo com a AEPD, há margem para melhorias na proposta de Regulamento Inteligência Artificial em termos das obrigações de transparência para com o utilizador, ou seja, informar o público sobre quando e como os sistemas de IA são utilizados.

26. A AEPD já está a realizar atividades de supervisão, uma vez que algumas instituições da UE começaram a desenvolver sistemas de aprendizagem automática. A AEPD está a realizar auditorias e a solicitar informações sobre a forma como as instituições da UE estão a desenvolver modelos de aprendizagem automática utilizando dados pessoais. A AEPD é igualmente consultada pelas instituições que estão a desenvolver ou a adquirir sistemas de IA, a fim de as ajudar a ter devidamente em conta a proteção de dados já na fase de conceção, a identificar possíveis riscos para os direitos e liberdades dos titulares dos dados e a atenuá-los de forma adequada.

Conclusão

27. Os princípios da boa administração incluem uma interação orientada para o serviço com os indivíduos, a razoabilidade e a proporcionalidade. Implicam explicar as decisões de forma clara e ser empático com as pessoas afetadas por tais decisões. Por outras palavras, uma boa administração implica ser humano e humano. Quando os seres humanos são retirados da equação da prestação de serviços, é claro que pode haver desafios. A mudança cada vez maior para a administração pública em linha e a utilização da inteligência artificial pelas administrações públicas terão um enorme impacto no trabalho das instituições de provedoria de justiça, que estarão na linha da frente para lidar com as implicações desta mudança.

28. A investigação realizada pela Agência dos Direitos Fundamentais da União Europeia (FRA) sugere que, na maioria dos casos, a IA é utilizada para fins de eficiência ^[7]. A IA afeta não só os direitos fundamentais à privacidade e à proteção de dados, mas também o direito fundamental à igualdade e à não discriminação (com os direitos de grupos especiais ou vulneráveis frequentemente ausentes do debate) e o direito fundamental de acesso a vias de recurso eficazes (incluindo a consciência de que as pessoas têm o direito de apresentar queixa). As decisões têm de ser justas e transparentes e as vias de impugnação das decisões têm de estar disponíveis e acessíveis.

29. A FRA elaborou uma lista de verificação das principais considerações para ajudar as empresas e as administrações a respeitar os direitos fundamentais quando utilizam a IA ^[8]. Trata-se de um recurso útil para os serviços de provedoria de justiça. As conclusões da conferência da ENO de 2022 ^[9] incluíram a proposta de elaboração de uma lista de boas práticas para as administrações públicas que utilizam a IA. Essa lista pode ser valiosa, especialmente tendo em conta que ainda demorará vários anos até que as normas e salvaguardas propostas no projeto de Regulamento Inteligência Artificial entrem em vigor, ao passo que, entretanto, as administrações públicas já utilizam a IA e têm planos iminentes para implantar mais IA para apoiar as suas funções ^[10].  O Provedor de Justiça Europeu refletirá sobre a forma de elaborar essa lista, em cooperação com os membros da ENO.

30. A emergência da IA representa também um desafio em termos de recursos humanos. Tanto o setor público como o privado começaram a procurar peritos no domínio da IA, e a escassez de profissionais experientes pode tornar-se um desafio para o setor público em particular. Este desafio aplicar-se-á igualmente aos gabinetes dos provedores de justiça e o Provedor de Justiça Europeu refletirá sobre a forma de resolver este problema, nomeadamente no âmbito da ENO.

31. Partindo do princípio de que o Regulamento Inteligência Artificial é adotado, haverá ampla margem para uma maior cooperação no âmbito da ENO. A estrutura de governação da execução, aplicação e intercâmbio de informações, proposta no projeto de Regulamento Inteligência Artificial, baseia-se num sistema de interação entre os organismos nacionais e da UE. Os gabinetes do Provedor de Justiça podem também ser identificados pelos Estados-Membros como organismos nacionais de supervisão da proteção dos direitos fundamentais. O Provedor de Justiça Europeu continuará a avaliar as medidas práticas que poderão ser tomadas no âmbito da ENO neste domínio.

32. Esta iniciativa estratégica demonstrou que, no futuro, é provável que existam questões abertas em matéria de transparência para com o público (por exemplo, no que diz respeito ao registo público proposto a nível da UE de sistemas de IA autónomos). É igualmente de esperar que surjam dificuldades no que diz respeito à prestação de contas: Cumprimento dos requisitos em matéria de supervisão humana; transparência das métricas utilizadas nos processos de teste e validação da IA; como será assegurada a rastreabilidade; e o cumprimento da obrigação de conservar registos e documentação.

33. Esta iniciativa estratégica permitiu ao Provedor de Justiça Europeu e à ENO obter uma boa visão do futuro panorama regulamentar da UE em matéria de IA, da sua implantação pela administração da UE e, de um modo mais geral, em todo o setor público. Para além de continuar a partilhar informações pertinentes com a ENO, para a qual a digitalização das administrações públicas é uma prioridade, o Provedor de Justiça Europeu utilizará esta iniciativa estratégica para fundamentar eventuais trabalhos futuros neste domínio e preparar eventuais queixas futuras.

[1] Um exemplo dessas orientações é o relatório do Provedor de Justiça neerlandês, intitulado «The citizen is not a dataset» (O cidadão não é um conjunto de dados): https://www.nationaleombudsman.nl/nieuws/onderzoeken/the-citizen-is-not-a-dataset

[2] Proposta de regulamento do Parlamento Europeu e do Conselho que estabelece regras harmonizadas em matéria de inteligência artificial (Regulamento Inteligência Artificial) https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52021PC0206

[3] Proposta de regulamento do Parlamento Europeu e do Conselho que estabelece regras harmonizadas em matéria de inteligência artificial (Regulamento Inteligência Artificial) https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52021PC0206

Ver também https://digital-strategy.ec.europa.eu/en/policies/european-approach-artificial-intelligence

[4] O texto integral dos relatórios de reunião pode ser consultado no seguinte endereço:

https://www.ombudsman.europa.eu/en/doc/inspection-report/en/149338

https://www.ombudsman.europa.eu/en/doc/inspection-report/en/154290

[5] Mais informações na plataforma: https://ec.europa.eu/commission/presscorner/api/files/attachment/868811/Future%20of%20Europe%20Conference%20Introducing%20platform.pdf.pdf  

[6] Ver parecer conjunto da AEPD e da EDPS sobre a proposta de Regulamento Inteligência Artificial: https://edps.europa.eu/node/7140_en

[7] Ver o relatório de 2020 da FRA´ intitulado «Getting the Future Right: Inteligência artificial e direitos fundamentais», disponível em: https://fra.europa.eu/sites/default/files/fra_uploads/fra-2020-artificial-intelligence_en.pdf

[8] https://fra.europa.eu/pt/publications-and-resources/infographics/fundamental-rights-ai-what-consider

[9] https://www.ombudsman.europa.eu/en/event/en/1438

[10] Durante a conferência da ENO de 2022, a Provedora de Justiça Parlamentar dinamarquesa sugeriu que os provedores de justiça já poderiam tentar dialogar com as autoridades públicas durante a fase de desenvolvimento de novos sistemas digitais que utilizem a IA, a fim de ajudar os criadores a ter em conta as obrigações jurídicas e os princípios da boa administração.