Caso: SI/3/2021/VS

Título do processo: Inteligência artificial e administração da UE

Data: Quarta-feira, 29 de setembro de 2021

Reunião à distância, Bruxelas

Presente:

Comissão Europeia

- Chefe de Unidade, DG CNECT A2

- Chefe de setor da política de IA, DG CNECT A2

Responsável jurídico e político, DG CNECT A2

Assistente Jurídico e Político, DG CNECT A2

- Assistente Jurídico, DG CNECT

- Chefe de Unidade, DIGIT

- Líder de Equipa-Cientista de Dados, DIGIT

- Gestor de Programas - Políticas da UE, DIGIT

Representante da DG JUST

Representante da DG HOME

Planeamento e orientação política, DG RH

- Perito principal - Coordenador das Relações Interinstitucionais - Relações com o Provedor de Justiça Europeu, SG

- Jurista e responsável pela gestão de políticas, SG

- Agente Administrativo, SG.DPO

Conselheiro, SG

Provedor de Justiça Europeu

Rosita Hickey, Diretora de Inquéritos

Peter Dyrberg, perito em inquéritos e processos

- Valentina Stoeva, Oficial de Inquéritos

Nicholas Hernanz, Oficial de Inquéritos

- Olatz Fínez Marañón, Inquirições estagiário

INTRODUÇÃO

Rosita Hickey, diretora de inquéritos do Provedor de Justiça Europeu, deu início à reunião, dando as boas-vindas aos participantes e agradecendo à Comissão Europeia por ter aceitado o convite para a reunião. O objetivo da reunião foi debater a forma como a Comissão prevê que as regras harmonizadas recentemente propostas em matéria de inteligência artificial (IA) possam funcionar, especificamente no que diz respeito à administração da UE e às administrações públicas em geral. Mencionou a relevância e o interesse deste tema para o Provedor de Justiça Europeu, bem como para a Rede Europeia de Provedores de Justiça (ENO), especialmente tendo em conta que os provedores de justiça nacionais trataram de queixas neste domínio. Acrescentou que a utilização da IA nas administrações públicas é uma questão que suscita preocupações no que diz respeito à transparência e à proteção dos direitos fundamentais.

Participaram na reunião representantes de várias DG da Comissão Europeia, incluindo a DG CNECT, a DG DIGIT, a DG JUST, a DG HOME, o SG e a HR.

Giulia Hickey dá a palavra à Comissão para uma apresentação sobre a sua proposta de Regulamento Inteligência Artificial (AIA).

APRESENTAÇÃO DA PROPOSTA DE ATO DE INTELIGÊNCIA ARTIFICIAL (AIA)

A Comissão Europeia adotou a sua proposta de primeiro regulamento abrangente sobre a IA em abril de 2021. Este foi o resultado de vários anos de iniciativas preparatórias: a Comissão apresentou a sua Estratégia Europeia para a IA em abril de 2018, apresentou um Plano Coordenado para a IA (elaborado com os Estados-Membros) em dezembro de 2018 e, pouco depois, nomeou o grupo de peritos de alto nível em IA que elaborou as orientações éticas para uma IA de confiança. A publicação do Livro Branco sobre a IA, em fevereiro de 2020, foi seguida de uma consulta pública, na qual várias partes interessadas apresentaram mais de 1 200 respostas.

A proposta de Regulamento Inteligência Artificial visa estabelecer regras uniformes para os sistemas de IA no mercado da UE. Apresenta regras aplicáveis a todo o ciclo de vida da IA, incluindo a colocação no mercado, a colocação em serviço e a utilização de sistemas de IA na União. Tem dois objetivos principais:

1. abordar os riscos para a segurança e os direitos fundamentais

2. criar um mercado único para uma IA de confiança na UE

A proposta de Regulamento Inteligência Artificial visa proporcionar um quadro baseado no risco favorável à inovação e proporcionado, que procure evitar o excesso de regulamentação, proporcionando simultaneamente segurança jurídica aos prestadores e utilizadores e estimulando a confiança no mercado. Criaria igualmente condições de concorrência equitativas para os principais intervenientes em toda a cadeia de valor da IA, independentemente da sua origem (da UE ou de países terceiros).

No que diz respeito ao âmbito de aplicação, o regulamento seria aplicável:

• Prestadores públicos e privados, independentemente da sua origem, colocação no mercado ou colocação em serviço de sistemas de IA na União;
• Utilizadores de sistemas de IA localizados na União;
• Outros fornecedores e utilizadores, se o resultado produzido pelo sistema de IA for utilizado na União.

As instituições, órgãos e organismos da UE também são abrangidos pelo regulamento quando atuam como fornecedores ou utilizadores de sistemas de IA. No entanto, o regulamento não se aplicaria à segurança nacional (excluída, em princípio, do âmbito de aplicação do direito da UE), à IA para fins exclusivamente militares (para sistemas de IA de dupla utilização, aplicar-se-ia o regulamento) e às autoridades públicas e organizações internacionais de países terceiros que atuem ao abrigo de acordos de cooperação policial ou judiciária com a UE ou um Estado-Membro.

A proposta define os sistemas de IA com base na definição constante da Recomendação do Conselho da OCDE sobre IA ^[1] e tem em conta dois elementos cumulativos:

• Definição funcional: A IA é um software em que o ser humano fornece um conjunto de objetivos (não explicitamente as regras para alcançar esses objetivos) que gera resultados como conteúdos, previsões, recomendações ou decisões que influenciam os ambientes com os quais interage; lista de técnicas e abordagens para o desenvolvimento do software (anexo I) agrupadas em abordagens de aprendizagem, raciocínio e modelização.  Esta lista pode ser atualizada pela Comissão ao longo do tempo, a fim de ter em conta a evolução tecnológica e do mercado.

A proposta de Regulamento Inteligência Artificial utiliza uma abordagem baseada no risco, o que significa que a intervenção regulamentar só é necessária quando necessária, em função do nível de risco para a segurança e os direitos fundamentais que um sistema de IA é suscetível de representar. A proposta classifica os sistemas de IA em quatro categorias:

• risco inaceitável (quatro práticas de IA proibidas: manipulação subliminar nociva; exploração das vulnerabilidades de determinadas pessoas; classificação social pelas autoridades públicas; e identificação biométrica à distância em tempo real para efeitos de aplicação da lei em espaços acessíveis ao público, sob reserva de determinadas exceções estritamente definidas),
• sistemas de IA de risco elevado (autorizados, mas sujeitos ao cumprimento de requisitos),
• IA que apresenta determinados riscos relacionados com a transparência (autorizada sujeita a obrigações de informação), e
• IA que represente um risco mínimo ou nulo (autorizada sem restrições adicionais, mas com eventual cumprimento de códigos de conduta voluntários).

A categoria de risco elevado, que engloba a parte central da proposta legislativa, inclui duas categorias principais de sistemas de IA:

1. Sistemas de IA concebidos para serem utilizados como componentes de segurança de determinados produtos regulamentados (anexo 2)

2. Determinados sistemas de IA autónomos concebidos para serem utilizados em domínios predefinidos (casos de utilização específicos enumerados no anexo 3), incluindo determinados sistemas, nomeadamente nos seguintes domínios (mais pertinentes para os provedores de justiça):

• Identificação e categorização biométricas à distância;
• emprego e gestão dos trabalhadores, acesso ao trabalho por conta própria;
• acesso e usufruto de serviços privados essenciais e de serviços e benefícios públicos;
• aplicação da lei;
• gestão da migração, do asilo e do controlo das fronteiras;
• a administração da justiça e os processos democráticos.

A proposta de Regulamento Inteligência Artificial estabelece em pormenor os requisitos aplicáveis aos sistemas de IA de risco elevado, nomeadamente:

• utilização de dados de formação, validação e teste de elevada qualidade e de procedimentos de governação de dados,
• o estabelecimento da documentação relativa às características de registo do sistema e da conceção,
• assegurar um grau adequado de transparência e fornecer informações aos utilizadores,
• permitir a supervisão humana,
• assegurar a solidez, a exatidão e a cibersegurança.

A fim de assegurar o cumprimento destes requisitos, a maior parte das obrigações é imposta ao fornecedor, com obrigações de utilização mais leves destinadas a garantir que os sistemas de IA são seguros e respeitam os direitos fundamentais ao longo do seu ciclo de vida.  

1. Obrigações do prestador:

• submeter-se a uma avaliação da conformidade ex ante para demonstrar a conformidade com os requisitos de IA antes de o sistema poder ser colocado no mercado/colocação em serviço da UE (autoavaliação para os sistemas de IA enumerados no anexo III da proposta da Comissão, exceto para os sistemas de identificação biométrica à distância) e potencial reavaliação do sistema (em caso de alterações significativas);
• Estabelecer e aplicar um sistema de gestão da qualidade na sua organização;
• Elaborar e manter actualizada a documentação técnica;
• Manter registos para monitorizar o funcionamento do sistema de IA de risco elevado (quando habilitado por lei ou pelo utilizador);
• registar sistemas de IA autónomos numa base de dados pública da UE;
• Apor a marcação CE e assinar uma declaração de conformidade;
• Proceder ao acompanhamento pós-comercialização e tomar medidas corretivas;
• Comunicar às autoridades de fiscalização do mercado incidentes graves e anomalias que possam representar riscos para os direitos fundamentais;
• colaborar com as autoridades de fiscalização do mercado.

2. Obrigações dos utilizadores:

• operar sistemas de IA de acordo com as instruções de utilização;
• Assegurar a supervisão humana aquando da utilização de sistemas de IA (essencial para as autoridades públicas);
• Controlar a operação quanto a possíveis riscos;
• Informar o fornecedor ou distribuidor de qualquer incidente grave ou de qualquer mau funcionamento;
• Utilizar as informações fornecidas pelo prestador para a avaliação de impacto sobre a proteção de dados (se for caso disso);
• Continuam a aplicar-se as obrigações jurídicas existentes para os utilizadores.

A fim de abordar, em especial, a opacidade e assegurar a transparência perante o público em geral, o AIA proposto inclui disposições sobre:

1. Transparência e rastreabilidade dos sistemas de IA de risco elevado (artigos 11.o a 13.o)

2. Direitos de acesso das autoridades de controlo competentes (artigo 64.o)

3. Transparência para com as pessoas afetadas (as pessoas devem ser informadas quando utilizam determinados sistemas de IA, incluindo quando não são classificadas como de risco elevado) (artigo 52.o)

4. Supervisão pública: Base de dados de IA de risco elevado autónoma acessível ao público a nível da UE (artigo 60.o).

No que diz respeito à forma como a proposta aborda os riscos de discriminação e os riscos para outros direitos fundamentais, a Comissão explicou que a proposta de Regulamento Inteligência Artificial facilitaria a aplicação da legislação nacional e da UE em vigor em matéria de igualdade, minimizando assim o risco nos casos em que possam estar envolvidos «sistemas de IA de risco elevado». Para o efeito, prevê requisitos e obrigações pertinentes para assegurar:  

1. Implementação de sistemas de gestão de riscos

2. alta qualidade dos conjuntos de dados

3. supervisão humana

4. precisão e robustez

5. medidas para permitir a deteção e a prova de violações dos direitos fundamentais.

Quanto à estrutura de governação da lei, esta baseia-se num sistema que abrange os níveis nacional e da UE. O nível nacional desempenharia um papel fundamental na aplicação da legislação através das autoridades nacionais de fiscalização do mercado. O nível da UE coordenaria a execução e procederia ao intercâmbio de informações através de um Comité da UE para a IA (a Comissão atuaria como secretariado do Comité). A Autoridade Europeia para a Proteção de Dados (AEPD) seria a autoridade de fiscalização do mercado das instituições, serviços, organismos e agências da UE. Haverá também um grupo de peritos da Comissão para aconselhamento técnico e científico, no qual estarão representadas todas as partes interessadas pertinentes (sociedade civil, académicos, empresas, etc.).

As funções do Comité Europeu para a IA seriam as seguintes:

• facilitar a aplicação coerente do quadro jurídico pelos Estados-Membros;
• Contribuir para o acompanhamento do mercado;
• Recolher e partilhar boas práticas;
• Contribuir para as normas/política de IA;
• prestar aconselhamento sobre questões de IA.

A proposta de Regulamento Inteligência Artificial inclui novos mecanismos de cooperação e poderes para as autoridades públicas responsáveis pela supervisão dos direitos fundamentais (por exemplo, organismos de promoção da igualdade, autoridades de proteção de dados, provedores de justiça, etc.):

• Solicitar o acesso a qualquer documentação mantida ao abrigo do presente regulamento, sempre que tal seja necessário para o exercício das suas funções no âmbito do seu mandato;
• Solicitar a realização de testes conjuntos de sistemas de IA de risco elevado a organizar pelas autoridades de fiscalização do mercado;
• Ser informado sempre que as autoridades de fiscalização do mercado suspeitem que um sistema de IA apresenta um risco para os direitos fundamentais;
• Ser informado pelas autoridades de fiscalização do mercado sobre as anomalias comunicadas de sistemas de IA de risco elevado que constituam uma violação das obrigações em matéria de direitos fundamentais ao abrigo da legislação da União ou nacional.

A Comissão apresentou uma panorâmica das próximas etapas. A proposta está agora a ser negociada pelo Conselho e pelo Parlamento Europeu. Uma vez adotado, haverá um período de transição de dois anos, após o qual o AIA deverá tornar-se diretamente aplicável na sua totalidade e obrigatório para os operadores após um período de transição de dois anos após a sua entrada em vigor. Paralelamente, as normas harmonizadas elaboradas pelas organizações europeias de normalização (CEN/CENELEC, ETSI) devem estar prontas e apoiar os operadores na aplicação prática dos novos requisitos e procedimentos de avaliação da conformidade.

PERGUNTAS E RESPOSTAS

A equipa do Provedor de Justiça Europeu levantou uma questão relativa às funções das autoridades públicas na supervisão dos direitos fundamentais. Os representantes da Comissão responderam que os Estados-Membros são livres de designar as autoridades de fiscalização do mercado competentes, que podem também ser autoridades que exercem a supervisão dos direitos fundamentais (a Comissão mencionou especificamente as autoridades de proteção de dados). Além disso, as autoridades ou organismos públicos nacionais que supervisionam ou aplicam o respeito das obrigações decorrentes do direito da União que protege os direitos fundamentais podem solicitar o acesso a qualquer documentação criada ou mantida ao abrigo do Regulamento Inteligência Artificial que lhes permita desempenhar plenamente as suas funções. Haverá também novas oportunidades para a testagem conjunta de sistemas de IA e o intercâmbio de informações com as autoridades de fiscalização do mercado.

Cada Estado-Membro teria de identificar as autoridades de controlo dos direitos fundamentais e tornar pública a lista de autoridades. Devem igualmente ser notificadas à Comissão e a todos os outros Estados-Membros.

I. O trabalho das instituições de provedores de justiça e de outros organismos de supervisão

1. No seio da comunidade das instituições de provedoria, as questões relacionadas com a utilização da IA podem colocar desafios à sua capacidade de investigação e ter um impacto negativo na capacidade dos cidadãos para apresentar queixas (por exemplo, os cidadãos não estão cientes de que a IA está a ser utilizada e, por conseguinte, não podem descrever este aspeto na sua queixa). Considera-se igualmente que, face aos desafios colocados pela utilização da IA, os diferentes organismos de supervisão devem estar preparados para cooperar e que as regras devem ser revistas para facilitar este trabalho conjunto ^[2] Esta experiência/esses desafios contribuíram de alguma forma para a reflexão da Comissão até à data?

Os representantes da Comissão concordaram que existiam preocupações válidas quanto à utilização da IA e ao seu possível impacto negativo na capacidade de os cidadãos apresentarem queixas. A Comissão afirmou que se tratava de uma das razões subjacentes a esta lei. O regulamento deve capacitar plenamente os cidadãos para fazerem uso dos seus direitos.

No âmbito do AIA, os gabinetes do Provedor de Justiça poderiam ser identificados pelos Estados-Membros como organismos nacionais de supervisão da proteção dos direitos fundamentais, tirando assim partido dos direitos de acesso à documentação e de novos mecanismos de cooperação com as autoridades de fiscalização do mercado. A Comissão congratula-se com quaisquer outras sugestões sobre a aplicação do regulamento. O regulamento inclui vários tipos de disposições em matéria de transparência, por exemplo, em relação às pessoas que são confrontadas com determinados sistemas de IA, para que saibam quando estão a interagir com um sistema de IA. Estas obrigações de transparência complementam as da legislação em vigor, por exemplo, em matéria de proteção dos consumidores ou de proteção de dados a nível nacional e da UE.

2. Poderá a Comissão fornecer alguns exemplos de ferramentas baseadas na IA atualmente utilizadas ou planeadas pelas administrações públicas nacionais que terão impacto nos cidadãos e poderão conduzir a um aumento das queixas recebidas?

Verifica-se uma adoção em algumas administrações nacionais que utilizam a IA, incluindo técnicas mais sofisticadas. Dada a sensibilidade geral dos casos de utilização relevantes, estes tornam-se frequentemente do conhecimento público decorrido algum tempo desde a sua aplicação. Dada a escassez de informações publicamente disponíveis, também nem sempre é absolutamente certo se o algoritmo é realmente um sistema de IA ou um software tradicional em que os resultados produzidos são o resultado direto de regras explicitamente predefinidas pelos seres humanos.

Com estas duas ressalvas, a Comissão apresentou três exemplos ilustrativos da utilização de ferramentas baseadas na IA pelas administrações públicas.  

Países Baixos

Em 2014, o Ministério dos Assuntos Sociais e do Emprego neerlandês desenvolveu um modelo de cálculo do risco denominado Systeem Risico Indicatie (SyRI) para prever a probabilidade de um indivíduo se envolver em benefícios e fraude fiscal, bem como em violações da legislação laboral. O SyRI utilizou a inteligência artificial para pesquisar várias bases de dados governamentais que continham dados pessoais. As organizações de defesa dos direitos humanos manifestaram preocupações quanto ao facto de o sistema visar de forma desproporcionada os bairros com baixos rendimentos. Um tribunal neerlandês proibiu o sistema em fevereiro de 2020 porque o governo não tinha sido suficientemente transparente sobre a forma como os algoritmos funcionavam ^[3].

Espanha

Em 2017, o Ministério espanhol da Transição para a Energia Verde geriu um software alimentado por IA chamado BOSCO que analisa os pedidos de um bónus social concedido pelo governo espanhol às famílias pobres pelas suas faturas de eletricidade. Devido a um mau funcionamento da BOSCO, mais de meio milhão de requerentes viram o seu pedido de prémio social rejeitado, apesar de preencherem os requisitos para receberem apoio financeiro. A administração espanhola recusou-se a partilhar o código-fonte do software, alegando que se trataria de uma violação dos direitos de propriedade intelectual, mesmo que fosse de uso público. Como resultado, as falhas não puderam ser encontradas. No final, um tribunal espanhol decidiu que o código deve ser tornado público.

Bélgica

Em 2018, na Flandres, várias cidades começaram a organizar o registo escolar através de um sistema central em linha que utiliza um algoritmo para decidir em que escola uma criança pode ser registada. A fim de evitar a segregação social em diferentes escolas, o município de Lovaina implementou um conjunto de variáveis no algoritmo: com base nas respostas dadas pelos pais a uma série de questões relativas ao nível de escolaridade da mãe e à questão de saber se o estudante recebe ou não uma bolsa, os estudantes foram divididos em «estudantes indicadores» (definidos como tendo menos oportunidades de vida) e «estudantes não indicadores». Outra variável foi a distância de casa para a escola. O sistema deixou de fora um elevado número de alunos e o algoritmo mostrou falhas, uma vez que estava a colocar aleatoriamente os alunos em escolas longe das suas casas.

II. Transparência

1. Quais são as obrigações de transparência previstas no Regulamento Inteligência Artificial proposto e de que forma se aplicariam às instituições da UE quando atuam como fornecedor ou utilizador de um sistema de IA? Qual é a diferença entre as obrigações de transparência previstas na proposta e a obrigação do RGPD de informar os utilizadores sobre a lógica subjacente às ferramentas automatizadas de tomada de decisões (definição de perfis)?

Um dos principais objetivos do AIA é abordar a opacidade dos sistemas de IA no seu funcionamento interno e em relação aos utilizadores e às pessoas afetadas por esses sistemas, bem como às autoridades de controlo competentes. Para mais pormenores, ver acima na apresentação os requisitos de transparência pertinentes.

Em relação à interação com o RGPD, o AIA proposto não limita os direitos que o RGPD concede no seu artigo 22.o, que são plenamente aplicáveis. As pessoas devem ser informadas quando são utilizados exclusivamente sistemas automatizados de tomada de decisões com efeitos jurídicos e igualmente significativos. Estes direitos serão facilitados pela proposta de Regulamento Inteligência Artificial. Ao assegurar que o funcionamento dos sistemas de IA é rastreável e transparente «desde a conceção», o AIA facilitaria o cumprimento das obrigações de proteção de dados em matéria de explicação, intervenção humana e direitos de recurso das pessoas afetadas, de acordo com os mecanismos existentes, incluindo a legislação em matéria de proteção de dados.

2. É possível dar uma indicação dos tipos de processos e atividades para os quais a Comissão, enquanto administração, utiliza atualmente a IA e quais são os planos da Comissão a este respeito?

A Comissão explicou que, no que diz respeito às utilizações internas da IA, ainda se encontra na fase exploratória. A Comissão está a analisar a IA que poderá ajudar os processos de elaboração de políticas ou o funcionamento geral da Comissão. A tradução eletrónica é um domínio de interesse e de utilização. Por exemplo, existe uma ferramenta de tradução na plataforma da Conferência sobre o Futuro da Europa ^[5]. Os utilizadores são informados de que estão a utilizar a IA. Os assistentes virtuais (chat bots) também podem ser utilizados para interações internas e externas no futuro. Por exemplo, o Eurostat está a considerar esta questão em relação à informação estatística. Outro domínio que está a ser considerado é a análise avançada apoiada pela IA, por exemplo, para analisar as reações sobre as políticas fornecidas pelos cidadãos no portal «Dê a sua opinião» (a título de exemplo, a Comissão afirmou ter recebido 4 milhões de respostas à sua consulta pública sobre a «hora de verão»). Em consonância com as suas futuras obrigações ao abrigo da proposta de Regulamento Inteligência Artificial, a Comissão já começou a trabalhar na elaboração de um código de conduta e orientações para o desenvolvimento e a utilização da IA na Comissão.

Outros planos incluem uma ferramenta para a recolha de dados na Internet, que permitiria à Comissão recolher informações na Internet sobre a forma como as políticas da UE são aplicadas. A descodificação dos mercados em linha através da Internet, bem como a utilização de software de reconhecimento de câmaras, poderão também, no futuro, ajudar a detetar e prevenir a entrada de produtos perigosos na UE.

A Comissão está também a considerar a IA no domínio da gestão dos recursos humanos. Esta situação encontra-se ainda numa fase muito inicial. O interesse reside na utilização da IA nos processos de recrutamento (por exemplo, a IA permitiria a correspondência das descrições de funções com os CV dos candidatos). Este projeto encontra-se ainda em fase de investigação. Há uma consciência dos preconceitos que podem surgir da utilização da IA nestes tipos de cenários. O Serviço Europeu de Seleção do Pessoal (EPSO) está também a investigar a forma como a IA pode ser utilizada no seu trabalho e nos seus processos.

3. Como é assegurada a perspetiva e a participação dos cidadãos ao abrigo do Regulamento Inteligência Artificial?

A principal garantia a este respeito é que a proposta de Regulamento Inteligência Artificial exige que os fornecedores informem os cidadãos quando lidam com IA (artigo 52.o do AIA) e que os cidadãos também possam aceder às informações publicamente disponíveis sobre todos os sistemas de IA de risco elevado colocados ou colocados em serviço no mercado da UE (artigo 60.o do AIA). Além disso, se e quando os cidadãos forem utilizadores de sistemas de IA de risco elevado, o fornecedor tem de lhes fornecer informações mais pormenorizadas sobre as capacidades e limitações do sistema, incluindo informações sobre todos os riscos possíveis.

Além disso, quando os cidadãos sentem que os seus direitos foram violados por um sistema de IA, podem apresentar uma queixa às autoridades de fiscalização do mercado e/ou às autoridades que já conhecem, como as autoridades de proteção de dados, as autoridades de proteção dos consumidores, as autoridades de luta contra a discriminação, os provedores de justiça, etc. Estas autoridades podem então solicitar o acesso a todas as informações pertinentes para o sistema de IA de risco elevado. A vantagem para os cidadãos reside no facto de não terem de se dirigir a autoridades novas e desconhecidas e de existir uma abordagem integrada das suas preocupações, ao passo que as autoridades competentes podem analisar a IA, se necessário incluindo mesmo o código-fonte.

No âmbito do sistema de governação a nível da UE, a Comissão tenciona igualmente criar um grupo de peritos que incluirá, nomeadamente, organizações da sociedade civil que representem os cidadãos e os seus interesses.

III. Boa administração

1. A administração da UE enquanto utilizadora de IA. É possível indicar os tipos de obrigações previstas para os utilizadores e a sua ligação com os princípios da boa administração?

A exatidão, a rastreabilidade, a responsabilização, a supervisão humana eficaz, a proteção de dados, etc., são princípios que vinculam a administração da UE e cuja aplicação o Regulamento Inteligência Artificial proposto visa facilitar na prática.

A administração da UE pode ser simultaneamente um fornecedor e um utilizador de sistemas de IA.

Se as instituições, órgãos, organismos e agências da UE estiverem a desenvolver os sistemas internamente (e não a «comprá-los como produto finalizado» no mercado), a administração da UE será considerada «prestadora» quando colocar esses sistemas em serviço para sua própria utilização. Por conseguinte, teria de cumprir os requisitos do título III, capítulo II (gestão dos riscos, qualidade dos dados, rastreabilidade, transparência, supervisão humana, etc.) e submeter-se a procedimentos de avaliação da conformidade baseados em controlos internos (sem a participação de terceiros, exceto em matéria de biometria). São igualmente aplicáveis obrigações processuais pertinentes, como a obrigação de dispor de um sistema de gestão da qualidade e de um sistema de monitorização pós-comercialização, de conservar documentação e registos, de comunicar anomalias que conduzam a violações das obrigações em matéria de direitos fundamentais, etc.

Se uma autoridade pública não estiver a desenvolver o sistema internamente, mas a adquiri-lo «fora da prateleira», será apenas um utilizador que exerce autoridade sobre a utilização do sistema de IA e terá de cumprir todas as obrigações daí decorrentes (por exemplo, em relação a práticas proibidas no artigo 5.o da proposta, obrigações de transparência para com as pessoas afetadas nos termos do artigo 52.o). No caso dos sistemas de IA de risco elevado, existem também novas obrigações horizontais para os utilizadores:

• seguir as instruções de utilização e exercer uma supervisão humana eficaz (especialmente importante para que as autoridades públicas garantam a responsabilização e a legalidade das suas ações)
• Assegurar que os dados de entrada são pertinentes tendo em conta a finalidade prevista do sistema de IA de risco elevado
• Controlar a operação e, sempre que a utilização possa resultar num risco para os direitos fundamentais do sistema de IA, informar o fornecedor ou distribuidor e suspender a utilização do sistema
• manter os registos gerados automaticamente por esse sistema de IA de risco elevado
• Utilizar as informações fornecidas pelo prestador para cumprir a sua obrigação de realizar uma avaliação de impacto sobre a proteção de dados nos termos do RGPD/Diretiva sobre a Proteção de Dados na Aplicação da Lei, se for caso disso.

Todas estas obrigações ajudarão as autoridades públicas (independentemente de estarem a desenvolver o sistema internamente ou a comprá-lo no mercado) a cumprir as obrigações que lhes incumbem por força do direito administrativo público e dos princípios da boa administração. As obrigações devem ajudar a assegurar a responsabilização pela forma como utilizam sistemas de IA de risco elevado, a fundamentar as suas decisões administrativas baseadas na IA com sistemas mais transparentes e explicáveis e a utilizar apenas sistemas testados e validados para fins de enviesamento, exatidão e segurança que estejam sujeitos a uma supervisão humana significativa e a um acompanhamento contínuo dos riscos para os direitos fundamentais. Estas obrigações e requisitos ajudariam igualmente as autoridades de controlo a detetar, investigar e punir violações das obrigações em matéria de direitos fundamentais quando os sistemas de IA de risco elevado são utilizados por autoridades públicas e outros utilizadores.

2. Tem a Comissão conhecimento de quaisquer ferramentas baseadas na IA que estejam a ser utilizadas pela Comissão ou por outras agências ou organismos da UE, por exemplo no domínio dos recursos humanos/pessoal, do EPSO/recrutamento ou do acompanhamento das fronteiras (Frontex, EASO, eu-LISA), que possam conduzir a mais queixas no futuro?

Atualmente, não existe IA implantada nos serviços de recursos humanos da Comissão. Encontram-se atualmente numa fase exploratória/de investigação. No entanto, existem alguns debates informais preliminares sobre a potencial utilização da IA nos processos de recrutamento. O EPSO está também a investigar a forma como a IA pode ser utilizada no âmbito dos processos de seleção.

Para a IA utilizada pelas agências da UE no domínio dos assuntos internos, ver a resposta infra.

3. Existe algum plano para utilizar robôs de conversação alimentados por IA ou assistentes automatizados controlados por voz a nível das instituições, organismos ou agências da UE, a fim de aumentar a eficiência do tratamento dos pedidos dos cidadãos (por exemplo, Europe Direct)?

Estão em curso dois projetos que envolvem a Direção-Geral da Comunicação (DG COMM) da Comissão. A primeira é sobre a interação com os cidadãos nas redes sociais. A IA prestará apoio nos bastidores ao pessoal das redes sociais. O segundo projeto, com o Europe Direct, diz respeito à criação de um repositório de conhecimentos por detrás das informações de que os membros do pessoal necessitam para responder aos cidadãos, em especial ligando e recuperando informações que possam ser pertinentes. A IA pode ser utilizada na classificação em questão.

A Comissão afirmou igualmente que a Frontex, o EASO e a eu-LISA operam ao abrigo dos seus próprios regulamentos e podem utilizar determinadas ferramentas de IA permitidas pelo seu mandato. As agências estão sujeitas a sistemas de supervisão rigorosos em matéria de proteção de dados. O EASO, por exemplo, utiliza um sistema de alerta rápido e de preparação. A Frontex procede à definição de perfis de risco, por exemplo de navios. A eu-LISA é a agência responsável pelas bases de dados dos assuntos internos. Está a planear melhorar o desempenho das bases de dados através da IA, em especial para os viajantes que utilizam o Sistema de Informação de Schengen através de uma maior exatidão dos dados biométricos. A eu-LISA está estritamente limitada à manutenção das bases de dados, não tem interação direta com as pessoas, ao contrário das autoridades dos Estados-Membros nas fronteiras. A Comissão explicou que as portas de fronteira inteligentes estão a utilizar a IA para verificar a identidade de uma pessoa. Existem planos para utilizar capacidades de aprendizagem profunda em matéria de dados biométricos para os controlos de fronteira. Esta situação não é nova; tem sido utilizado desde a entrada em vigor do Sistema de Informação sobre Vistos em 2011. A Comissão afirmou não ter recebido quaisquer queixas sobre a utilização do sistema. As tecnologias de IA contribuem significativamente para melhorar a exatidão dos dados dos sistemas. A Comissão concluiu que as ferramentas de IA estão a ajudar a melhorar os direitos fundamentais nestas situações.

IV. Direitos fundamentais

1. O direito a uma boa administração é um direito fundamental. Que controlos ex ante e ex post do respeito pelos direitos fundamentais estão previstos no Regulamento Inteligência Artificial?  Qual é a relação entre o controlo ex ante e o controlo ex post?

O Regulamento Inteligência Artificial prevê uma combinação de medidas de execução ex ante (antes da colocação no mercado/colocação em serviço de um sistema de IA de risco elevado) e ex post.

Os procedimentos de avaliação da conformidade ex ante são obrigatórios para os sistemas de IA de risco elevado, em conformidade com os procedimentos já estabelecidos ao abrigo da legislação em vigor em matéria de segurança dos produtos do Novo Quadro Legislativo (NQL). O prestador deve demonstrar a conformidade com os requisitos aplicáveis à IA de risco elevado enumerados nos artigos 9.o a 16.o do AIA. A avaliação ex ante (através de controlos internos ou com a participação de terceiros) é dividida em função do tipo de riscos e do nível de interação com a legislação da UE em vigor em matéria de segurança dos produtos – anexo II sujeito a avaliação da conformidade por terceiros e anexo III sujeito a autoavaliação [com exceção dos sistemas de identificação biométrica à distância (RBI)]. No caso dos sistemas constantes do anexo III, o fornecedor deve também registar os sistemas autónomos de IA de risco elevado numa base de dados da UE que seria gerida pela Comissão, o que reforçará a transparência. Além disso, em qualquer destes casos, seriam necessárias reavaliações recorrentes da conformidade em caso de alterações substanciais dos sistemas de IA.

As autoridades nacionais competentes designadas pelos Estados-Membros estabelecerão um sistema ex post de fiscalização do mercado. A sua tarefa consistiria em controlar o mercado ex post e investigar o cumprimento das obrigações e dos requisitos aplicáveis a todos os sistemas de IA de risco elevado já colocados no mercado. As proibições previstas no artigo 5.o e as obrigações de transparência previstas no artigo 52.o serão igualmente aplicadas ex post. As autoridades de fiscalização do mercado teriam todos os poderes previstos no Regulamento (UE) 2019/1020 relativo à fiscalização do mercado ^[6], incluindo, entre outros, poderes para: dar seguimento às queixas relativas a riscos e incumprimentos; Realizar inspeções e auditorias no local e à distância dos sistemas de IA; Solicitar documentação, especificações técnicas e outras informações pertinentes a todos os operadores ao longo da cadeia de valor; Solicitar medidas corretivas a todos os operadores em causa para eliminar os riscos ou, caso a não conformidade ou o risco persistam, proibir ou ordenar a sua retirada/recolha do mercado/suspensão imediata da utilização; Impor sanções em caso de incumprimento das obrigações.

2. De que forma garante a proposta a ausência de preconceitos de discriminação ou de discriminação algorítmica, em especial com base no género e na etnia?

 A proposta de Regulamento Inteligência Artificial inclui vários requisitos aplicáveis aos sistemas de IA de risco elevado no que diz respeito à qualidade dos dados e aos procedimentos de governação dos dados (escolhas e pressupostos de conceção, rotulagem, avaliação das lacunas de dados, análise de enviesamentos, etc.). Os conjuntos de dados com os quais o sistema é desenvolvido e testado devem ser representativos, pertinentes, completos e exatos e incluir as propriedades estatísticas adequadas das pessoas em que o sistema se destina a ser utilizado (artigo 10.o da Lei). O prestador deve igualmente estabelecer um sistema de gestão dos riscos, incluindo testes prévios obrigatórios para fazer face ao risco de discriminação, tendo em conta a finalidade prevista do sistema. Isto irá contrariar o preconceito e a discriminação. Serão estabelecidas normas para verificar os conjuntos de dados, a fim de apoiar os prestadores na demonstração do cumprimento destes novos requisitos.

Além disso, a rastreabilidade e a documentação seriam necessárias para permitir rastrear os resultados dos sistemas de IA. Os requisitos de exatidão exigirão testes e validação do sistema que executa de forma fiável em diferentes grupos demográficos e transparência para as métricas utilizadas. Por último, os requisitos de transparência e supervisão humana ajudam os utilizadores de sistemas de IA de risco elevado a identificar o risco de discriminação e a tomar medidas adequadas para lhes fazer face. Esta supervisão humana deve abordar quaisquer limitações do sistema e também evitar a «automatização tendenciosa» quando a pessoa depende automaticamente dos resultados do sistema.  Os utilizadores terão também de monitorizar continuamente o sistema e comunicar qualquer mau funcionamento que possa causar violações das obrigações em matéria de direitos fundamentais, incluindo a discriminação.

Estes requisitos serão avaliados ao longo de todo o ciclo de vida dos sistemas de IA de risco elevado.

V. Comité Europeu para a Inteligência Artificial

A presente proposta consiste em criar um Comité composto por representantes dos Estados-Membros, da AEPD e presidido pela Comissão para:

- facilitar a aplicação harmonizada do regulamento;

- fornecer orientações à Comissão;

- contribuir para a cooperação eficaz das autoridades nacionais de controlo

Poderá a Comissão fornecer mais pormenores sobre a criação, os objetivos e o funcionamento previsto deste novo organismo?

O Comité Europeu para a IA tem por objetivo complementar a aplicação a nível nacional, servindo como órgão consultivo da UE e plataforma de intercâmbio entre os Estados-Membros. Para o efeito, será responsável por uma série de tarefas, incluindo a recolha e partilha de boas práticas entre os Estados-Membros e a contribuição com pareceres, recomendações, aconselhamento ou orientações sobre questões relacionadas com a aplicação do regulamento.

A Comissão exercerá as funções de presidente e secretariado do Comité, será responsável pela convocação das reuniões e pela preparação da ordem de trabalhos, bem como pela prestação de apoio administrativo e analítico. No que diz respeito à composição do Comité, este seria composto por representantes de alto nível de cada autoridade nacional de controlo dos Estados-Membros, pela AEPD e por um representante da Comissão na qualidade de presidente.

A composição do Comité deverá permitir intercâmbios significativos entre e com as autoridades nacionais que observam o funcionamento e as implicações da utilização de sistemas de IA no seu trabalho quotidiano. Os membros do Comité fornecerão informações sobre a forma como a IA pode afetar os cidadãos e como responder a nível regulamentar. Os cidadãos devem beneficiar do intercâmbio de boas práticas, orientações e recomendações. Tal asseguraria que, na Europa, se aplicasse a melhor abordagem possível e harmonizada.

O funcionamento interno será decidido pelo próprio Comité, uma vez que este elaborará e adotará o seu regulamento interno. Estes incluiriam igualmente aspetos operacionais relacionados com a execução das suas tarefas. O Comité é livre de conceber a sua estrutura interna e pode também criar subgrupos para temas e questões específicos.

Como ação complementar (e atualmente não prevista no regulamento), a Comissão tenciona introduzir um grupo de peritos independentes no processo de execução. O grupo de peritos será composto por peritos recrutados e remunerados pela Comissão, a fim de fornecer conhecimentos especializados adicionais ao Comité e à Comissão, se necessário.

CONCLUSÃO

Os representantes da OE agradeceram aos representantes da Comissão as informações partilhadas, incluindo a apresentação em Power Point que será disponibilizada à ENO.

Bruxelas, 29 de setembro de 2021

Rosita Hickey Valentina Stoeva

Diretor de Inquéritos Inquéritos Responsável

 

[1] https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449

[2] Relatórios dos provedores de justiça:

https://www.nationaleombudsman.nl/nieuws/onderzoeken/the-citizen-is-not-a-dataset

https://www.defenseurdesdroits.fr/sites/default/files/atoms/files/synth-algos-en-num-16.07.20.pdf

https://bcombudsperson.ca/guide/getting-ahead-of-the-curve/

[3] https://www.theguardian.com/technology/2020/feb/05/welfare-surveillance-system-violates-human-rights-dutch-court-rules

Texto integral do acórdão em inglês: https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBDHA:2020:1878

[4] O caso é mencionado no seguinte artigo (em espanhol): https://derecholocal.es/opinion/control-judicial-de-los-algoritmos-robots-administracion-y-estado-de-derecho. Ver também este artigo: "Ser governado através de código fonte secreto ou algoritmos nunca deve ser permitido em um país democrático sob o estado de direito" | Civio

Antes de chegar aos tribunais, a questão foi apresentada ao Consejo de Transparencia y Buen Gobierno- CTBG (Conselho da Transparência e da Boa Governação). A sua decisão sobre o assunto foi publicada em fevereiro de 2019: https://www.consejodetransparencia.es/ct_Home/Actividad/recursos_jurisprudencia/Recursos_AGE/2019/128_particular_35.html

[5] https://futureu.europa.eu/?locale=pt

[6] Regulamento (UE) 2019/1020 do Parlamento Europeu e do Conselho, de 20 de junho de 2019, relativo à fiscalização do mercado e à conformidade dos produtos e que altera a Diretiva 2004/42/CE e os Regulamentos (CE) n.o 765/2008 e (UE) n.o 305/2011.