# Besluit van de Europese Ombudsman tot afsluiting van het onderzoek naar klacht 29/2012/DK tegen het Europees Bureau voor personeelsselectie
- Auteur: Europese Ombudsman
- Datum: 2014-05-26T10:00+02:00[Europe/Paris]
- [URL](https://www.ombudsman.europa.eu/nl/decision/nl/54479)
---
Achtergrond van de klacht
-------------------------

**1.** Deze klacht betreft de vermeende ongelijke behandeling van kandidaten door het Europees Bureau voor personeelsselectie (EPSO) in procedures voor personeelsselectie.

**2.** Klager nam deel aan algemeen vergelijkend onderzoek EPSO/AD/207/11, dat tot doel had administrateurs op het gebied van Europees openbaar bestuur te selecteren.

**3.** In juli 2011 deelde EPSO klager mee dat hij niet was toegelaten tot de volgende fase van het vergelijkend onderzoek (de fase van het assessment), omdat hij bij de toelatingstoetsen niet het minimumscore van 70.447 had behaald (hij had 70 punten behaald).

**4.** Klager vroeg vervolgens aan EPSO hoe het mogelijk was dat het keurmerk op 70 447 was vastgesteld. In dit verband merkte hij op dat één correct antwoord 1 punt waard was in de verbale, numerieke en abstracte redeneertests en dat aan de vijf aspecten die werden getest in de situatiebeoordelingstest[\[1\]](#_ftn1 ""){#_ftnref1} punten werden toegekend die deelbaar waren door 0,125. Dientengevolge, betoogde hij, kon het eindcijfer van elke kandidaat alleen een geheel getal zijn of een getal dat eindigt met de volgende decimalen: .125; .250; .375; .5; .625; .750; .875.

**5.** In zijn antwoord verduidelijkt EPSO dat het mogelijk is het minimumaantal punten vast te stellen op 70 447, aangezien bepaalde vragen in de toelatingstoetsen "geneutraliseerd" zijn. Het legt uit dat "neutralisatie" van vragen als volgt werkt. Als een reeks van 10 vragen 10 punten krijgt (1 punt voor elk correct antwoord) en een van de vragen moet worden geneutraliseerd (bijvoorbeeld vanwege een fout in de formulering van de vraag), worden de beschikbare 10 punten gelijk verdeeld over de resterende 9 vragen. Dit betekent dat voor elk correct antwoord 1.111 punten worden toegekend en dat een kandidaat die alle 9 vragen correct beantwoordt dus 9.999 punten krijgt voor die vragen.

**6.** Klager antwoordde door erop te wijzen dat de bovengenoemde methode hem in een nadelige positie bracht ten opzichte van kandidaten aan wie vragen werden gesteld die later werden geneutraliseerd. Hij verklaarde dat er 20 vragen waren in de verbale redeneringstest. Eén punt werd toegekend voor elk correct antwoord. Als een kandidaat 18 vragen correct heeft beantwoord, krijgt hij/zij 18 punten, op voorwaarde dat er geen vragen worden geneutraliseerd. Als aan een andere kandidaat die dezelfde toets had afgelegd een foutieve vraag werd gesteld die vervolgens werd geneutraliseerd, bedroeg elk correct antwoord van die kandidaat 1,052 punten (20 gedeeld door 19). Dit betekende dat, hoewel die kandidaat 18 vragen correct beantwoordde, hij/zij 18,95 punten ontving (18 x 1,052). Kortom, hoewel beide kandidaten 18 vragen correct hebben beantwoord, kregen ze verschillende punten. De klager wees er ook op dat berekeningen met betrekking tot een geneutraliseerde vraag in test D (situatiebeoordeling) complexer waren vanwege de verschillende waarden van de juiste antwoorden (elk antwoord kon 0,5, 1, 1,5 of 2 punten krijgen). Hetzelfde nadeel zou zich echter voordoen.

**7.** Bij gebrek aan verder antwoord van EPSO wendde klager zich met deze klacht tot de Europese Ombudsman.

Onderwerp van het onderzoek
---------------------------

**8.** De Ombudsman opende een onderzoek naar de volgende beweringen en beweringen:

##### Bewering:

De methode die EPSO gebruikt om foutieve vragen in algemene vergelijkende onderzoeken te neutraliseren, leidt tot een ongelijke behandeling van kandidaten.

##### Vordering:

EPSO moet het resultaat van de klager opnieuw onderzoeken om een einde te maken aan de ongelijke behandeling van kandidaten.

Het onderzoek
-------------

**9.** Op 31 januari 2012 heeft de Ombudsman EPSO verzocht om uiterlijk op 30 april 2012 een advies over de klacht uit te brengen. Nadat EPSO om verlenging van deze termijn had verzocht, heeft het op 24 mei 2012 advies uitgebracht. Het advies werd aan klager toegezonden met een uitnodiging om opmerkingen in te dienen. Klager heeft geen opmerkingen ingediend.

Analyse en conclusies van de Ombudsman
--------------------------------------

### A. Bewering dat de door EPSO gebruikte methode om foutieve vragen in algemene vergelijkende onderzoeken te neutraliseren, leidt tot een ongelijke behandeling van kandidaten

#### Aan de Ombudsman voorgelegde argumenten

**10.** Klager voerde aan dat de methode die EPSO gebruikt om foutieve vragen in het algemeen vergelijkend onderzoek te neutraliseren, leidt tot een ongelijke behandeling van de kandidaten aan wie een foutieve vraag werd gesteld en de kandidaten aan wie dat niet het geval was.

**11.** In zijn advies wees EPSO er in de eerste plaats op dat een jury, overeenkomstig vaste rechtspraak[\[2\],](#_ftn2 ""){#_ftnref2} over een ruime beoordelingsbevoegdheid beschikt wanneer zij wordt geconfronteerd met onregelmatigheden of fouten die zich hebben voorgedaan in het kader van een algemeen vergelijkend onderzoek waarbij een groot aantal kandidaten is betrokken en die op grond van het evenredigheidsbeginsel en het beginsel van behoorlijk bestuur niet kunnen worden rechtgezet door de toetsen te herhalen. Daarom maakt EPSO gebruik van een praktijk die neutralisatie wordt genoemd, waarbij het een foutieve vraag annuleert en het (de) aan die vraag toegewezen punt (punten) verdeelt over de overige vragen.

**12.** Wanneer een vraag wordt geneutraliseerd, moet de jury ervoor zorgen dat de kandidaten niet negatief worden beïnvloed. Met andere woorden, als een kandidaat een totaal cijfer behaalt dat hoog genoeg is om hem/haar in staat te stellen *door te gaan naar de volgende fase van het vergelijkend onderzoek vóór* neutralisatie, maar het totale cijfer in dit opzicht ontoereikend is*na*neutralisatie, kan die kandidaat niet worden beïnvloed door neutralisatie, zodat hij/zij zijn/haar plaats onder de geslaagde kandidaten behoudt. Dit gebeurde echter niet in het geval van klager: zijn totale score lag zowel voor als na de neutralisatie onder het keurmerk. EPSO voegde daaraan toe dat geen van de vragen die klager werd gesteld, hoefde te worden geneutraliseerd.

**13.** Volgens EPSO was de neutralisatie van bepaalde vragen voor klager irrelevant omdat zijn totale score onvoldoende was om zowel *vóór* als *na* de neutralisatie tot de fase van het assessment te worden toegelaten. De minimale totale score *vóór* neutralisatie die een kandidaat moest behalen om tot de fase van het assessment te worden toegelaten, was 70,5. Klager behaalde in totaal 70 punten. *Na* neutralisatie was het laagste totale cijfer dat moest worden behaald voor kandidaten om tot de fase van het assessment te worden toegelaten, dat van 70 447. Zoals hierboven vermeld, konden de kandidaten die dit laagste cijfer behaalden, niet negatief worden beïnvloed door de neutralisatie en dus hun positie behouden. Aangezien geen van de vragen van klager werd geneutraliseerd en hij dus zijn aanvankelijke totaalscore (70) handhaafde, werd hij niet toegelaten tot de fase van het beoordelingscentrum.

**14.** EPSO wees erop dat het beginsel van gelijke behandeling in het kader van een algemeen vergelijkend onderzoek alleen wordt geschonden wanneer twee categorieën personen wier feitelijke en juridische situatie gelijk is, verschillend worden behandeld of wanneer verschillende situaties op dezelfde wijze worden behandeld.

**15.** EPSO wees er ook op dat in de aankondiging van vergelijkend onderzoek was vermeld dat het aantal kandidaten dat tot de volgende fase van het vergelijkend onderzoek zou worden toegelaten (de fase van het beoordelingscentrum) ongeveer driemaal het in de aankondiging vermelde aantal geslaagde kandidaten zou bedragen. Zij heeft ook verklaard dat indien een aantal kandidaten zich zou binden voor de laatst beschikbare plaats, zij allen zouden worden uitgenodigd voor het assessment.

**16.** EPSO concludeerde dat klager noch positief noch negatief werd beïnvloed door de methode die het gebruikte om onjuiste vragen in het betrokken vergelijkend onderzoek te neutraliseren. Zij was derhalve van mening dat de bewering van klager ongegrond was en dat alle kandidaten billijk werden behandeld.

#### Beoordeling door de Ombudsman

**17.** De Ombudsman merkt op dat het inderdaad juist is om te stellen dat een kandidaat die een vraag heeft gehad waarop hij/zij geneutraliseerd heeft geantwoord, **baat kan** hebben bij neutralisatie. Als kandidaat A in een vergelijkend onderzoek 8 van de 10 vragen correct beantwoordt en een van de vragen die hij onjuist heeft beantwoord, wordt geneutraliseerd (vanwege een gebrek in de gestelde vraag), is het totale cijfer van kandidaat A voor de acht juiste vragen 8 x 1.111 (8.888). Als kandidaat B ook acht vragen correct beantwoordt in dezelfde tests, maar geen van zijn onjuiste antwoorden wordt geneutraliseerd, is het totale cijfer van kandidaat B voor de acht juiste vragen 8 x 1 (8). Dit is een verschil in behandeling tussen kandidaten van gelijke verdienste. Dit verschil in behandeling wordt nog versterkt door het feit dat het minimumaantal punten voor de tests wordt verlaagd om ervoor te zorgen dat geen enkele kandidaat als gevolg van neutralisatie van het vergelijkend onderzoek wordt uitgesloten. Aan de hand van het bovenstaande voorbeeld betekent dit dat indien het minimumscorepunt op 9 was vastgesteld, het zou worden teruggebracht tot 8 888, waardoor kandidaat A, maar niet de even bekwame kandidaat B, tot de volgende fase kan worden toegelaten.

**18.** Het is dus duidelijk dat het neutraliseren van een vraag bepalend kan zijn voor de vraag of een kandidaat wordt toegelaten tot de volgende fase van een vergelijkend onderzoek.

**19.** Hoewel **het waarschijnlijk is dat sommige** kandidaten baat zullen hebben bij neutralisatie (namelijk kandidaten wier vraag onjuist is beantwoord, wordt geneutraliseerd), is er natuurlijk geen manier om te weten hoe een bepaalde kandidaat een geneutraliseerde vraag zou hebben beantwoord indien die vraag in de eerste plaats correct was geformuleerd. Het is mogelijk dat bovengenoemde kandidaat A de gebrekkige vraag juist zou hebben beantwoord indien deze in de eerste plaats correct was geformuleerd, en dus 9 punten zou hebben behaald.

**20.** Het hierboven geschetste probleem zou zich natuurlijk niet voordoen als er geen gebrekkige vragen zouden worden gesteld. De Ombudsman benadrukt echter dat, hoewel alles in het werk moet worden gesteld om ervoor te zorgen dat er geen gebrekkige vragen worden gesteld in procedures voor personeelsselectie, het moeilijk is om te garanderen dat alle vragen die aan alle kandidaten worden gesteld, foutloos zijn, met name in een situatie waarin vragen worden gekozen uit een database met vele tienduizenden vragen.

**21.** Een jury heeft altijd het recht om van kandidaten te verlangen dat zij een nieuw examen afleggen wanneer het eerste door een ernstige onregelmatigheid is getroffen. Met betrekking tot de vraag of het passend zou zijn dat een jury, gebruikmakend van haar ruime beoordelingsmarge, kandidaten aan wie vragen met gebreken waren gesteld, zou verplichten om een nieuwe computertest af te leggen, merkt de Ombudsman op dat alle kandidaten van algemene vergelijkende onderzoeken vóór de invoering van computertests **dezelfde** meerkeuzevragen werden gesteld. Indien in die vergelijkende onderzoeken vragen met gebreken werden gesteld, werden die vragen door de jury's **voor alle kandidaten** nietig verklaard[\[3\].](#_ftn3 ""){#_ftnref3} De jury's gingen vervolgens over tot het opnieuw toewijzen van punten voor alle geldige vragen die werden beantwoord (samengevat, ze 'neutraliseerden' de gebrekkige vragen). Sommige kandidaten die aan dit soort vergelijkend onderzoek deelnamen, verzochten om nietigverklaring van de besluiten waarbij zij van dergelijke vergelijkende onderzoeken werden uitgesloten, met het argument dat neutralisatie in strijd was met het beginsel van gelijke behandeling[\[4\].](#_ftn4 ""){#_ftnref4} Het Gerecht heeft echter gepreciseerd dat een jury over een ruime beoordelingsmarge beschikt wanneer zij wordt geconfronteerd met onregelmatigheden of fouten in een algemeen vergelijkend onderzoek. Bovendien heeft het Hof geoordeeld dat, **in het licht van het evenredigheidsbeginsel en het beginsel van behoorlijk bestuur,** onregelmatigheden of fouten in een algemeen vergelijkend onderzoek **met massale deelname** niet kunnen worden gecorrigeerd door de tests te herhalen[\[5\].](#_ftn5 ""){#_ftnref5} Het Gerecht heeft in dit verband ook opgemerkt dat het neutraliseren van vragen tot doel heeft de individuele verdiensten van (alle) kandidaten van het vergelijkend onderzoek objectief te beoordelen, door elke ongelijke behandeling als gevolg van een beoordeling van deze kandidaten op basis van niet-identieke of onvergelijkbare criteria uit te sluiten.

**22.** De Ombudsman begrijpt de opmerking over het evenredigheidsbeginsel in de context van het arrest van het Gerecht in kwestie als een verwijzing naar het **evenredige gebruik van middelen** in een open competitie**met massale deelname.**

**23.** Het standpunt van het Hof was volkomen logisch. Indien de jury ervoor had gekozen de examens opnieuw af te leggen, had zij **alle** kandidaten moeten uitnodigen om opnieuw deel te nemen aan de examens. Het uitnodigen van **vele duizenden** kandidaten om opnieuw dergelijke tests af te leggen, zou niet hebben geleid tot een evenredig gebruik van middelen of in overeenstemming zijn geweest met de beginselen van behoorlijk bestuur, temeer daar de alternatieve optie, het neutraliseren van gebrekkige vragen, op alle kandidaten in gelijke mate werd toegepast (elke kandidaat had **dezelfde vraag(en)** geneutraliseerd).

**24.** Open vergelijkende onderzoeken met computertests brengen echter niet dezelfde logistieke uitdagingen met zich mee als het gaat om opnieuw afgenomen tests. Hoewel het nog steeds zo is dat een groot aantal kandidaten aan dergelijke algemene vergelijkende onderzoeken deelneemt, worden de kandidaten tijdens de computertests **verschillende vragen** gesteld (de vragen worden willekeurig gekozen uit een database met tienduizenden vragen). Een jury die ervoor kiest nieuwe toetsen te houden om ervoor te zorgen dat alle kandidaten geldige vragen ontvangen, hoeft alleen **de kandidaten uit te nodigen aan wie gebrekkige vragen zijn gesteld.** De nieuwe tests zouden **bovendien** kunnen worden beperkt tot de kandidaten die, indien hun geen vragen met gebreken waren gesteld, een wiskundige mogelijkheid zouden hebben gehad om het vereiste minimum te halen. Kortom, er zou geen nuttig doel en dus geen goede reden zijn om de kandidaten uit te nodigen voor een nieuw examen: i) de kandidaten die het minimumaantal punten zouden hebben behaald, zelfs indien de vraag met gebreken niet in aanmerking was genomen, en ii) de kandidaten die het minimumaantal punten niet zouden hebben behaald, zelfs indien voor de vraag met gebreken een volledig punt zou zijn toegekend. Het aantal kandidaten dat opnieuw dergelijke examens moet afleggen, mag, ervan uitgaande dat het aantal vragen met gebreken zeer beperkt is, niet meer dan een handvol bedragen.

**25.** De Ombudsman is van mening dat de logistiek en de kosten van het uitnodigen van zo'n zeer beperkt aantal kandidaten om de computertests opnieuw af te leggen, **niet noodzakelijkerwijs altijd onevenredig zouden zijn.**

**26.** De Ombudsman heeft de uitspraak van het Gerecht voor ambtenarenzaken in zaak F-2/07 *Matos Martins/Commissie, waarnaar EPSO in zijn advies aan de Ombudsman verwees,* zorgvuldig onderzocht. De uitspraak heeft betrekking op het neutraliseren van vragen bij**computergebaseerd testen.** Het is alleen beschikbaar in het Frans en het desbetreffende deel luidt als volgt:

"191*À cet égard, il convient de rappeler qu'un jury de concours dispose d'un large pouvoir d'appréciation lorsqu'il est confronté à des irrégularités ou à des erreurs intervenues lors du déroulement d'un concours général ou d'une procédure de sélection à participation nombreuse qui ne peuvent, en vertu des **principles de proportionnalité** et **de bonne administration**, pas être réparées par une répétition des épreuves du concours (arrêt Giuletti e.a./Comission, précité, punt 58).*

*192 En l'espèce, le requérant n'a pas établi que l'octroi d'un point pour chaque question neutralisée n'a pas été de nature à concilier le souci du jury d'assurer une égalité absolue de traitement entre les candidats et **les exigences d'une bonne administration** (voir, en ce sens, arrêt du Tribunal de première instance du 7 septembre 2005, Heinen/Comission, T-181/04, RecFP blz. I-A-221 en II-1013, punt 41)"*(nadruk toegevoegd door de Ombudsman).

**27.** De bewoordingen van punt 192 van het *arrest Matos Martins/Commissie* impliceren dat het Gerecht lijkt te erkennen dat **neutralisatie geen absolute gelijkheid van kandidaten waarborgt**. Het Gerecht is echter van oordeel dat de noodzaak van absolute gelijkheid moet worden verzoend met de vereisten van behoorlijk bestuur.

**28.** De Ombudsman erkent deze uitspraak van het Gerecht voor ambtenarenzaken, wat inhoudt dat een jury het recht heeft om vragen te neutraliseren in plaats van het zeer beperkte aantal betrokken kandidaten te verzoeken de gebrekkige toetsen opnieuw af te leggen.

**29.** In het licht van het bovenstaande, en met name in het licht van de uitspraak van het Gerecht voor ambtenarenzaken, is de Ombudsman van oordeel dat verder onderzoek met betrekking tot de bewering van klager niet gerechtvaardigd is.

**30.** Wat betreft het argument van klager dat EPSO het resultaat van klager opnieuw zou moeten onderzoeken om een einde te maken aan de ongelijke behandeling van kandidaten, merkt de Ombudsman op dat, ongeacht de gegrondheid van de bewering van klager, klager niet werd toegelaten tot de volgende fase van het vergelijkend onderzoek omdat hij niet het minimumscore van 70.447 voor de toelatingstoetsen had behaald. De Ombudsman merkt op dat, hoewel bepaalde kandidaten er baat bij kunnen hebben dat hun scores worden verhoogd als gevolg van neutralisatie (zie de paragrafen 17-20 hierboven), en dat neutralisaties ertoe kunnen leiden dat het eerder vastgestelde keurmerk licht wordt verlaagd (in dit geval werd het verlaagd van 70,5 naar 70,447), **neutralisatie er nooit toe leidt dat het keurmerk toeneemt** . Bijgevolg merkt de Ombudsman op dat klager het pasje niet zou hebben gehaald, **zelfs als er geen neutralisatie had plaatsgevonden.** In het licht van deze opmerkingen is de Ombudsman van oordeel dat verder onderzoek met betrekking tot de bewering van klager niet gerechtvaardigd is.

**31.** De Ombudsman benadrukt echter dat, hoewel het neutraliseren van ondeugdelijke vragen in computertests, in het licht van de uitspraak van het Gerecht voor ambtenarenzaken, **een optie** is die altijd openstaat voor jury's, EPSO er nooit van mag uitgaan dat neutralisatie de **enige** optie is die openstaat om het probleem van ondeugdelijke vragen op te lossen. In dit verband zal de Ombudsman nog een opmerking maken om EPSO aan te moedigen de verschillende opties waarover het in toekomstige vergelijkende onderzoeken kan beschikken, te onderzoeken.

### B. Conclusies

Op basis van het onderzoek naar deze klacht sluit de Ombudsman de klacht af met de volgende conclusie:

**De Ombudsman is van oordeel dat geen verder onderzoek naar de bewering en bewering gerechtvaardigd is.**

Klager en EPSO zullen van dit besluit in kennis worden gesteld.

Verdere opmerkingen
-------------------

**{#FR25_2014}EPSO zou moeten nadenken over alternatieve manieren om de problemen van gebrekkige vragen in computertests aan te pakken. EPSO zou kunnen overwegen:**

**1) de mogelijkheid om het zeer beperkte aantal kandidaten aan wie gebrekkige vragen werden gesteld en die daardoor ongunstig werden beïnvloed, te verzoeken opnieuw de computertests af te leggen. Bij de organisatie van vergelijkende onderzoeken moet EPSO ervoor zorgen dat er voldoende tijd en middelen worden uitgetrokken voor dergelijke nieuwe tests, zodat het de instructies kan uitvoeren van een jury die om dergelijke nieuwe tests verzoekt.**

**2) de mogelijkheid om aan het begin van de computertests vervangende vragen te stellen, waarvan de antwoorden alleen in aanmerking zouden worden genomen als de tests van individuele kandidaten gebrekkige vragen blijken te bevatten.**

Emily O'Reilly

Gedaan te Straatsburg op 22 mei 2014

*** ** * ** ***

[\[1\]](#_ftnref1 ""){#_ftn1} Dit waren: veerkracht, prioritering, analyse en probleemoplossing, samenwerking met anderen en het leveren van kwaliteit en resultaten. De toegekende punten waren respectievelijk 9,375, 8,75, 9,375, 8,75 en 8,75 punten.

[\[2\]](#_ftnref2 ""){#_ftn2} EPSO verwees naar het arrest van 15 april 2010, *Matos Martins/Commissie (F-2/07,* nog niet gepubliceerd in de Jurisprudentie, punt 191).

[\[3\]](#_ftnref3 ""){#_ftn3} Fouten deden zich vaak alleen voor in bepaalde taalversies van de tests. Indien in een vraag in één taalversie een fout is gemaakt, is dezelfde vraag in alle taalversies nietig verklaard (zie gevoegde zaken T-167/99 en T-174/99, *Carla Giulietti e.a.,* Jurispr. 2001, blz. SC-I-A-00093 en SC-II-00441, punt 44).

[\[4\]](#_ftnref4 ""){#_ftn4} Zie gevoegde zaken T-167/99 en T-174/99, *Carla Giulietti e.a.,* aangehaald in voetnoot 3.

[\[5\]](#_ftnref5 ""){#_ftn5} Zie gevoegde zaken T-167/99 en T-174/99, *Carla Giulietti e.a.,* aangehaald in voetnoot 3, punt 58.