Esta es la versión HTML de un fichero adjunto a una solicitud de acceso a la información '2012 Correspondence regarding the Fundamental Rights Agency.'.


Intended for 
European Union Agency for Fundamental Rights, FRA 
 
Document type 
Final Report 
 
Date 
November 2012 
 
 
EXTERNAL EVALUATION 
OF THE EUROPEAN 
UNION AGENCY FOR 
FUNDAMENTAL RIGHTS 
 

 

 
 
 
 
 
 
 
EXTERNAL EVALUATION OF THE EUROPEAN UNION 
AGENCY FOR FUNDAMENTAL RIGHTS 
 

 
 
Revision 
Final 
Date 
19/11/2012 
Made by 
Ramboll 
Description 
Final report 
 
 
 
 
 
 
 
Ramboll 
Hannemanns Allé 53 
DK-2300 Copenhagen S 
Denmark 
T  +45 5161 1000 
F  +45 5161 1001 
www.ramboll-management.com   
  

 
 
 
 
 
 
 
 
CONTENTS 
Executive summary 
ii 
1. 
Introduction 
1 
1.1 
Purpose of the evaluation 

1.2 
Methodology for the evaluation 

2. 
The European Agency for Fundamental Rights 
5 
2.1 
Background and mandate of the FRA 

2.2 
Brief history and description of the FRA 

2.3 
The FRA's development since establishment 

2.4 
The FRA's organisation and management 

2.5 
Activities of the FRA 
16 
3. 
Evaluation findings 
22 
3.1 
Effectiveness: To what extent has the FRA been successful in 
achieving its objective and carried out the tasks established 
by the Founding Regulation? 
22 
3.2 
Efficiency: To what extent has the FRA conducted its 
activities and achieved its objectives at a reasonable cost in 
terms of financial and human resources and administrative 
arrangements? 
39 
3.3 
Utility: To what extent has the FRA been successful in 
addressing the needs of the European Union institutions and 
Member states in providing them with assistance and 
expertise to fully respect fundamental rights in the 
framework of Union law? 
60 
3.4 
Added value: To what extent has the FRA been more 
effective and efficient in achieving its results and impacts 
compared to other existing or possible national-level and EU-
level arrangements? 
76 
3.5 
Coordination and coherence: To what extent has the FRA 
ensured appropriate coordination and or cooperation with the 
stakeholders identified in the Founding Regulation (articles 6 
– 10)? 
80 
4. 
Conclusions and recommendations 
95 
4.1 
The usefulness of the FRA in addressing the needs for the full 
respect of fundamental rights in the framework of European 
Union law 
95 
4.2 
Overall ability of FRA to sustain its activities and meet future 
challenges 
96 
4.3 
Barriers and obstacles to optimal performance 
96 
4.4 
Challenges as regards FRA's governance 
97 
4.5 
Recommendations for actions 
98 
 
 
 
 
 
 

 
 
 
 
 
 
 
 
TABLE OF FIGURES 
Figure 1: Organisation of the FRA, from the FRA website  ............................ 9 
Figure 2: The FRA's QMS system ............................................................. 13 
Figure 3: Have you ever read any of the FRA's publications? N=316 ............. 22 
Figure 4: The FRA publications deliver timely data and information on pertinent 
fundamental rights issues in the EU N=304 ............................................... 23 
Figure 5: The FRA's research results are readily available to all relevant 
stakeholders N=304 ............................................................................... 23 
Figure 6: How would you assess the scientific quality of the FRA's research? 
N=308 ................................................................................................. 26 
Figure 7: Internal Survey Methods and Standards N=117 ........................... 28 
Figure 8: To what extent has the FRA been successful in terms of promoting 
dialogue with the civil society? N=305 ...................................................... 31 
Figure 9: In your opinion, to what extent has the FRA contributed to the 
development of effective information and cooperation networks among EU-
level stakeholders in the field of fundamental rights? N=305 ....................... 33 
Figure 10: In your view, to what extent has the FRA contributed to the 
development of effective information and cooperation networks among national 
level stakeholders in the field of fundamental rights? N=303 ....................... 34 
Figure 11: How would you assess the scientific quality of the FRA's research? 
N=308 ................................................................................................. 38 
Figure 12: In your opinion, does the FRA have sufficient quality control 
mechanisms in place to ensure a high scientific quality in its work? N=117 ... 38 
Figure 13: Do you consider the FRA's working practices to be efficient? N=75
 ........................................................................................................... 40 
Figure 14: The size of the Agency is appropriate for the work entrusted to the 
FRA and adequate for the actual workload N=117 ...................................... 43 
Figure 15: The staff composition is appropriate for the work entrusted to the 
FRA and adequate for the actual workload N=117 ...................................... 44 
Figure 16: The recruitment and training procedures are appropriate for the 
work entrusted to the FRA and adequate for the actual workload N=117 ...... 45 
Figure 17: To what extent do you consider the FRA’s management systems to 
be efficient? N=117 ................................................................................ 47 
Figure 18: To what extent do you consider the FRA's management systems to 
be efficient? N=117 ................................................................................ 47 
Figure 19: Do you consider the mechanisms for monitoring and evaluating the 
FRA to be sufficient? N=117 .................................................................... 49 
Figure 20: To what extent do you consider the working methods of the 
Management Board to be efficient? N=117 ................................................ 52 
Figure 21: To what extent do you consider the collaboration between the 
Scientific Committee and the FRA to be effective in ensuring high scientific 
quality? N=117 ...................................................................................... 52 
Figure 22: Do you consider the administrative procedures to be supportive in 
terms of FRA’s operational activities? N=117 ............................................. 55 
Figure 23: How do you consider the administrative arrangements in the FRA? 
N=80 ................................................................................................... 58 
Figure 24: In your view is there a need to prioritise differently in terms of 
administrative and operational staff? N=117 ............................................. 59 
Figure 25: The FRA's work and actions have effectively helped institutions, 
bodies, offices and agencies of the European Union to ensure increased respect 
of fundamental rights in the framework of EU law N=307 ........................... 60 
Figure 26: The FRA's work and actions have effectively helped Member States 
to ensure increased respect of fundamental rights in the framework of EU law 
N=307 ................................................................................................. 61 
Figure 27: The FRA's research results are readily available to all relevant 
stakeholders N=304 ............................................................................... 67 
Figure 28: How relevant are the FRA’s publications to your work? N=308 ..... 69 
 

 
 
 
 
 
 
 
 
Figure 29: The FRA's publications inform and assist decision-making at EU level 
N=302 ................................................................................................. 71 
Figure 30: The FRA's publications inform and assist decision-making at national 
level N=302 .......................................................................................... 72 
Figure 31: The FRA's publications inform and assist decision-making at local 
level N=302 .......................................................................................... 72 
Figure 32: Issues regarding fundamental rights in the EU are better understood 
today than before the FRA was established N=301 ..................................... 74 
Figure 33: The FRA’s work has contributed to raising awareness of 
fundamental rights issues in the European Union and its Member States among 
the general public and specific/vulnerable groups N=302 ............................ 75 
Figure 34: If the FRA did not exist, similar EU level data on fundamental rights 
in the EU would not be collected N=301 ................................................... 77 
Figure 35: Other existing institutions could most likely carry out the data 
collection of the FRA as well or even better with additional funds N=301 ...... 78 
Figure 36: How valuable are the networking/collaborating activities organised 
by the FRA to your institution/organisation? N=64 ..................................... 83 
Figure 37: To what extent has the FRA contributed to the development of 
effective information and cooperation networks among EU-level stakeholders in 
the field of fundamental rights? Respondents representing the EU institutions 
N=64 ................................................................................................... 84 
Figure 38: The FRA is acting in close cooperation with the Council of Europe to 
avoid duplication and in order to ensure complementarity? N=117 ............... 87 
Figure 39: The FRA is acting in close cooperation with the UN to avoid 
duplication and in order to ensure complementarity. N=117 ........................ 90 
Figure 40: The FRA is acting in close cooperation with non-governmental 
organisations and with institutions of civil society? N=117 .......................... 91 
Figure 41: To what extent has the FRA been successful in terms of promoting 
dialogue with the civil society? N=305 ...................................................... 91 
Figure 42: To what extent has the FRA contributed to the development of 
effective information and cooperation networks among local level stakeholders 
in the field of fundamental rights? N=303 ................................................. 92 
Figure 43: The procedures in place to ensure coordination and cooperation 
secure that FRA activities are coherent with the policies and activities of its 
stakeholders, N=117 .............................................................................. 93 
 
 
LIST OF TABLES 
Table 1: Overall response rate, both surveys .............................................. 2 
Table 2: Staff development in the Agency .................................................. 8 
Table 3: Overall development of the FRA's budget in € ................................ 8 
Table 4: Allocated budget by MAF Area 2009-2012 .................................... 16 
Table 5: Summary of publications by the FRA 2007-2012 ........................... 17 
Table 6: Number of events conducted by the FRA 2007-2012 ...................... 17 
Table 7: Overview of research covering all Member States. ......................... 25 
Table 8: Benchmark agencies, 2010 actual outturn .................................... 42 
Table 9: Level of Budgetary use (commitments) ........................................ 42 
Table 10: Percentage of Agencies’ operational budget carried forward .......... 42 
Table 11: Cancellation rate of planned carry-forwards ................................ 43 
Table 12: The staff composition is appropriate [...] AD staff per time of 
employment at the Agency N=38 ............................................................. 44 
Table 13: Cost of Management Board 2010 ............................................... 51 
Table 14: Have you gained a better understanding of fundamental rights in 
Europe as a result of the FRA's work? N=303 ............................................ 64 
Table 15: The work of the FRA clearly contributes to a greater shared 
understanding of fundamental rights in Europe N=302 ............................... 65 
 
 
 
 

 
 
 
 
 
 
 
 
ANNEXES 
Annex 1 
Inception report 
Annex 2 
Case study reports 
Annex 3 
List of interviewees 
Annex 4 
List of FRA publications and events 
Annex 5 
Survey results 
Annex 6 
Bibliography 
 
 
 

 
 
I
 
 
 
 
 
 
LIST OF ABBREVIATIONS 
AD 
Administrator (staff category) 
ADMIN 
Department of Administration at the FRA 
AR 
Activity Report 
AST 
Assistant (staff category) 
AWP 
Annual Work Programme 
CAR 
Communication and Awareness-Raising 
CoE 
Council of Europe 
COM 
European Commission 
CSO 
Civil Society Organisation 
ECR 
Department of Equality and Citizens' Rights at the FRA 
EIGE 
European Institute for Gender Equality 
EMCDDA 
European Monitoring Centre for Drugs and Drug Addiction 
EMPL 
European Commission, Directorate-General for Employment, Social Affairs and 
Inclusion  
EP 
European Parliament 
EU 
European Union 
EUROFOUND  European Foundation for the Improvement of Living and Working Conditions  
FJ 
Department of Freedoms and Justice at the FRA 
FRA 
European Union Agency for Fundamental Rights 
FRC 
Fundamental Rights Conference 
FRONTEX 
European Agency for the Management of Operational Cooperation at the External 
Borders of the Member States of the European Union 
FRP 
Fundamental Rights Platform 
HoD 
Head of Department 
HOME 
European Commission, Directorate-General for Home Affairs 
HR 
Human resources 
HRP 
Human resources and planning 
INGO 
International non-governmental organisation 
JUST 
European Commission, Directorate-General for Justice 
LIBE 
European Parliament Committee on Civil Liberties, Justice and Home Affairs 
MAF 
Multi-annual Framework 
MB 
Management Board 
MS 
Member State 
NGO 
Non-governmental organisation 
NHRI 
National Human Rights Institution 
NLO 
National Liaison Officer 
ODIHR 
the OSCE Office for Democratic Institutions and Human Rights 
OHCHR 
Office of the High Commissioner for Human Rights 
OSCE 
Organization for Security and Co-operation in Europe 
PMF 
Performance Management Framework 
SNE 
Seconded national expert 
UN 
United Nations 
UNDP 
United Nations Development Programme 
UNICEF 
United Nations Children's Fund 
YTD 
Year-to-date 
 
 
 
 

 
 
II
 
 
 
 
 
 
EXECUTIVE SUMMARY 
The  purpose  of  the  assignment  was  to  undertake  an  independent  evaluation  of  the  European 
Union  Agency  for  Fundamental  Rights  (henceforward  the  FRA  or  the  Agency).  The  overall 
objective  was  to  evaluate  the  effectiveness,  efficiency,  added  value,  utility,  coordination  and 
coherence  of  the  work  by  the  FRA  since  its  establishment  in  2007  to  date.  The  evaluation  was 
based  on  comprehensive  data  collection  (surveys,  interviews  and  focus  groups)  among  all  key 
internal and external stakeholders to the FRA, as well as thematic case studies. 
 
The  FRA  was  established  in  2007,  building  on  structures  of  the  European  Monitoring  Centre  on 
Racism  and  Xenophobia  (EUMC)1.  According  to  Article  2  of  its  Founding  Regulation2  the  FRA’s 
objective  is  to  provide  the  relevant  institutions,  bodies,  offices  and  agencies  of  the  Community 
and its Member States when implementing Community law with assistance and expertise relating 
to fundamental rights in order to support them when they take measures or formulate courses of 
action within their respective spheres of competence to fully respect fundamental rights

 
The FRA's activities are intended to support the EU institutions and Member States in raising the 
level  of  fundamental  rights  protection  for  everyone  in  the  European  Union.  To  achieve  this 
objective,  the  Agency  provides  independent  advice  to  policy-makers  and  national  governments. 
To  this  end,  it  collects  data  on  fundamental  rights,  conducts  research  and  analysis,  issues 
opinions, cooperates and facilitates networks with key human rights stakeholders, and develops 
communication  activities  to  disseminate  the  results  of  its  work  and  raise  awareness  of 
fundamental rights. 
 
Evaluation findings 
 
Since  its  establishment  in  2007,  the  FRA  has  developed  progressively  into  being  almost  fully 
staffed by end 2011/beginning 2012. At the time of establishment, the Agency had 41 permanent 
staff and by end 2011 the figure had more than doubled to 92 staff. Since 2011, the Agency is 
organised in five departments and a directorate. The five Heads of Department and the Director 
form  the  Management  Team.  The  FRA  is  governed  by  a  Management  Board  (MB)  consisting  of 
independent persons nominated by the Member States, i.e. they cannot be civil servants as per 
regulation. The MB meets twice a year (May and December), and the individuals are nominated 
for a time period of five years (non-renewable). 
 
The  evaluation  findings  show  that  the  FRA  has  developed  into  a  well-functioning  organisation, 
with adequate management structures, planning procedures and control systems. All the systems 
are in place, however there is still some work to be done to ensure optimal implementation and 
use  of  the  systems,  in  particular  the  Management  Information  System  MATRIX  and  the 
monitoring and evaluation Performance Measurement Framework PMF (in pilot stage at the time 
of  the  evaluation).  The  adequate  functioning  of  the  Agency  has  been  confirmed  by  the  Internal 
Audit  Services  and  Court  of  Auditors,  who  express  overall  trust  in  the  Agency's  procedures  and 
systems in the audit reports. This picture was also further supported by the benchmarking done 
with  three  other  EU  agencies  (EUROFOUND,  EMCDDA  and  EU-OSHA),  on  financial  and 
administrative indicators such as budget execution, carry forwards and cancellation rates. 
 
Effectiveness: To what extent has the FRA been successful in achieving its objective and carried 
out the tasks established by the Founding Regulation? 

 
Based  on  the  findings,  it  can  be  concluded  that  the  FRA  fulfils  to  a  high  extent  its  mandate  to 
collect,  record  and  analyse  relevant,  objective,  reliable  and  comparable  information  and  data 
relating  to  fundamental  rights  issues  in  the  European  Union  and  its  Member  States.  There  is  a 
common  opinion  that  the  Agency  progresses  steadily  and  that  its  outputs  are  becoming  better 
and  better,  with  just  a  few  critical  voices  regarding  methodologies,  sample  and  scope  with 
                                                
1 Established by Regulation (EC) No 1035/97 (repealed), OJ L 151, 10.6.1997.  
2 Council Regulation (EC) No 168/2007 of 15’th February 2007 establishing a European Agency for Fundamental Rights, 
Official Journal of the European Union L 53/1 of 22’nd of February 2007. 
 

 
 
III
 
 
 
 
 
 
respect  to  specific  reports.  Overall,  the  evaluation  findings  point  towards  a  clearly  favourable 
assessment  in  terms  of  the  timeliness  and  adequacy  of  the  FRA's  assistance  and  expertise 
relating  to  fundamental  rights,  in  particular  among  the  EU  level  institutions.  At  the  level  of 
Member  States  the  picture  is  more  mixed,  both  in  terms  of  content  of  the  research  and  also 
logistical  barriers,  such  as  language  and  dissemination.  While  EU-wide  comparative  studies  are 
highly  relevant  for  European  policy  makers,  the  national  policy  process  requires  more  in-depth 
and  contextual  information,  which  cannot  be  provided  by  the  FRA.  The  FRA  has  however 
gradually begun to explore and develop new modes of cooperation with key national actors at the 
Member State level. 
 
The  FRA  has  developed  adequate  standards  and  methods  to  improve  the  comparability  of  data 
across EU Member States. This is mainly done through the specific research projects (for example 
the  ad-hoc  working  group  on  monitoring  Roma  integration),  rather  than  as  a  part  of  a 
harmonisation process in general of data collection and statistics. Ideally, the FRA would together 
with Eurostat support the Member States in setting up comparable systems of data collection, but 
this would require a stronger commitment from the Member States than is currently the case. 
 
The FRA is working towards having a strong dialogue with civil society organisations (CSO), but 
the  actual  cooperation  is  considered  moderately  successful  by  the  CSO  respondents  from  the 
Fundamental Rights Platform. In specific projects, the cooperation appears to be functioning well, 
for  example  in  the  field  of  homophobia.  While  it  is  difficult  to  assess  the  impact  of  CSO 
cooperation in terms of raised awareness among the general public, the Agency is actively using 
electronic  and  social  media  to  reach  the  general  population  as  well  as  stakeholders,  such  as 
electronic newsletters, awareness-raising material targeting youth (S'cool agenda) and Facebook. 
Specific  project  results  are  generally  promoted  and  disseminated  to  a  wider  public,  through 
European and national media. As an example the recent comparative survey on Roma integration 
was cited in several European media, such as the BBC News and the Economist. 
 
It can be concluded that the FRA has to some extent contributed to the development of networks 
at the EU and national level. This contribution has been in relation to specific projects, where the 
Agency  has  an  inclusive  way  of  working,  taking  into  account  the  knowledge  and  needs  of 
different  stakeholders  and  users.  The  FRA  does,  however,  also  engage  in  more  general, 
“horizontal” networking, meaning the general coordination and cooperation with the stakeholders 
in  the  Founding  Regulation.  The  FRA  has  established  effective  procedures  for  coordination  and 
cooperation  which  ensure  coherence  of  policies  and  activities  with  stakeholders  at  all  levels, 
which is assessed an adequate and relevant strategy by the evaluators. 
 
In  terms  of  ad-hoc  advice  and  formal  requests,  the  amount  of  requests  has  so  far  been 
manageable  for  the  Agency.  The  fact  that  both informal  and  formal  requests are  increasing  can 
be seen as a positive proxy indicator for the Agency's relevance to stakeholders, as the demand 
increases  for  the  expertise  provided.  However,  as  the  amount  of  requests  increases,  they  may 
become difficult to cater for within the current resources and priorities. 
 
Concerning  the  FRA's  role  in  providing  input  to  the  legislative  process  at  the  European  level, 
there were several voices in support of an increased role for the Agency in providing opinions on 
future legislation on a more regular basis.  
 
The quality of the FRA's publications is generally considered to be very good by stakeholders. In 
particular the socio-legal approach is highly appreciated, in taking the citizen as a starting point 
for  the  research  on  fundamental  rights  issues.  The  Scientific  Committee  as  well  as  the  internal 
quality  review  procedures  of  the  Agency  are  well  developed,  documented  and  implemented.  It 
can thus be concluded that the current quality procedures are working well in ensuring scientific 
quality of the FRA's work. 
 
Efficiency:  To  what  extent  has  the  FRA  conducted  its  activities  and  achieved  its  objectives  at  a 
reasonable cost in terms of financial and human resources and administrative arrangements? 

 
 

 
 
IV
 
 
 
 
 
 
The  evaluation  findings  show  an  overall  positive  evolution  in  terms  of  the  FRA's  internal 
organisation,  operations  and  working  practices  towards  efficiency  since  its  establishment  until 
present.  The  development  has  been  dynamic  during  the  start-up  years  of  the  FRA,  and  in  the 
future the Agency will need to focus on consolidation of the different systems.  
 
Overall, the management systems and processes in place are recognised by staff to be efficient. 
While  there  are  areas  which  can  be  optimised,  these  require  an  improvement  of  current 
procedures  and  not  a  general  overhaul.  The  management  team  consisting  of  Heads  of 
Departments and the Director is perceived as a well-functioning and adequate forum. 
 
The  evaluation  findings  point  towards  a  favourable  assessment  of  the  working  methods  and 
composition  of  the  Executive  and  Management  Board. Some  challenges  are  inherent  in  the  set-
up,  notably  different  backgrounds  in  a  large  Management  Board  with  differing  opinions,  but  the 
processes put in place seem to have contributed to a constructive cooperation, with an Executive 
Board and a Financial Committee. The Scientific Committee has also been well integrated in the 
working  procedures  of  the  Agency,  with  early  participation  in  projects  and  well  documented 
review processes in place. 
 
The  majority of  the  staff  considers the  Agency’s  structure  and  organisation to be  appropriate in 
relation  to  the  FRA's  mandate,  but  there  are  some  concerns  regarding  the  workload.  The 
situation is seen as a result of the ambitious tasks and work entrusted to the FRA as compared to 
the Agency’s size. This may have a negative impact on employee satisfaction in the longer term. 
 
A  Performance  Measurement  Framework  was  being  piloted  at  the  time  of  the  evaluation, 
designed to provide the Agency with ongoing information on outcome and impact level, with key 
performance indicators. Previously, proper mechanisms for monitoring, reporting and evaluating 
the  FRA's  work  were  lacking,  and  the  PMF  system  should  go  a  long  way  towards  providing 
relevant and timely information on the performance of the Agency towards the objectives.  
 
Based on the findings, it can be concluded that administrative systems overall function well. The 
MATRIX  system  generates  management  information  such  as  Director's  reports  and  red-flag 
reports,  thereby  enabling  a  real-time  overview  of  progress  towards  milestones  in  projects. 
However,  it  is  clear  that  there  is  a  need  for  increasing  the  use  of  MATRIX  as  a  management 
system by the project managers, rather than as an administrative requirement.  
 
Overall, there seems to be a reasonable balance between administrative procedures and the need 
for checks and controls. Although there is certainly need for continuous work on simplification, it 
must  also  be  acknowledged  that  the  Agency  is  bound  to  follow  standards,  and  thus  only  have 
limited means available to simplify procedures. 
 
Utility:  To  what  extent  has  the  FRA  been  successful  in  addressing  the  needs  of  the  European 
Union  institutions  and  Member  states  in  providing  them  with  assistance  and  expertise  to  fully 
respect fundamental rights in the framework of Union law? 

 
The  evaluation  findings  point  towards  a  clearly  favourable  assessment  in  terms  of  the  FRA's 
ability  to  effectively  help  institutions,  bodies,  offices  and  agencies  of  the  Union  to  ensure  full 
respect  of  fundamental  rights  in  the  framework  of  the  Union  law,  where  survey,  interviews  and 
cases  strongly  supported  that  the  FRA  has  been  successful  in  meeting  the  needs  of  EU  level 
stakeholders.  The  findings  are  less  positive  concerning  the  results  at  the  national  level. 
Developments  are  currently  on  the  way  to  improve  this  in  particular  with  more  active 
communication  with  the  National  Liaison  Officers  (NLO)  concerning  the  needs  of  the  Member 
States. 
 
Overall,  the  evaluation  findings  point  towards  a  favourable  assessment  in  terms  of  the  FRA's 
ability  to  contribute  to  a  greater  shared  understanding  of  fundamental  rights  issues  in  the 
framework  of  Union  law  among  policy/decision-makers  and  stakeholders  in  the  EU  and  Member 
States. The stakeholders interviewed were somewhat modest in their assessment, but stated that 
the quality of discussions has indeed improved due to the FRA's work. However, work remains to 
 

 
 
V
 
 
 
 
 
 
be  done  in  terms  of  mainstreaming  the  knowledge  from  the  most  involved  national  authorities 
(the  National  Liaison  Officers)  and  NGOs  towards  the  broader  group  of  decision-makers  in  the 
Member States. 
 
Based on these findings it can be concluded that the general satisfaction with the Agency's work 
is  high,  and  the  organisation  is  seen  as  accessible  and  responsive  to  stakeholders  needs.  The 
Agency  is  actively  disseminating  and  communicating  research  results  and  the  main  barriers  to 
further  dissemination  seem  to  be  the  dissemination  channels,  i.e.  that  the  publications  are 
effectively  disseminated  also  in  the  Member  States  by  the  National  Liaison  Officers,  and  the 
publication language.  
 
There  is  a  clearly  favourable  assessment  in  terms  of  the  suitability  of  the  FRA's  outputs  to  the 
needs of its stakeholders. The FRA has changed the format of the outputs, in particular in terms 
of providing information in a more condensed and targeted format (i.e. tailored newsletters, fact 
sheets  summarising  main  findings  of  a  report)  and  directing  the  outputs  of  their  work 
increasingly towards the needs of the stakeholders. 
 
In  terms  of  the  extent  to  which  the  FRA  publications  on  project  results  have  been  taken  into 
account  by  relevant  EU,  national  and  local  actors  on  fundamental  rights  issues,  the  evaluation 
shows  a  mixed  result.  While  contribution  was  assessed  high  at  the  EU-level,  the  results  were 
much  less  positive  at  the  national  and  local  level.  The  case  studies  did,  however,  show  a  more 
positive picture also concerning the use of the publications by national level stakeholders. Among 
the civil society representatives, in particular the EU/international level NGOs are using the work 
of the FRA, but it does not seem that the results are disseminated actively enough towards the 
local level. 
 
Added  value:  To  what  extent  has  the  FRA  been  more  effective  and  efficient  in  achieving  its 
results  and  impacts  compared  to  other  existing  or  possible  national-level  and  EU-level 
arrangements? 

 
Overall,  the  evaluation  findings  point  towards  a  favourable  assessment  in  terms  of  the  FRA 
having  been  more  effective  in  achieving  its  results  and  impacts  compared  to  other  existing  or 
possible national-level and EU-level arrangements. The FRA is considered to be in a unique role 
as a provider of comparative, EU-wide studies. The Agency is acknowledged for concentrating on 
topics  that  are  not  covered  by  other  similar  actors,  and  their  position  as  an  independent  EU 
Agency gives their work additional backing.  
 
The  evaluation  does  not  provide  sufficient  evidence  to  conclude  that  the  effects  in  the  field  of 
fundamental rights have been achieved at lower cost because of the Agency's intervention. There 
is  some  evidence  concerning  the  lack  of  duplication  of  efforts,  where  the  work  of  the  FRA  has 
been used by the stakeholders. On the one hand, without the work of the Agency such research 
would not exist (meaning that there is little risk for duplication of efforts) but on the other hand 
the  work  of  the  FRA  in  these  fields  is  seen  to  be  of  relevance  to  developing  effective  policies, 
which could be cost-saving for those using the FRA's work in these fields. 
 
Coordination  and  coherence:  To  what  extent  has  the  FRA  ensured  appropriate  coordination  and 
or cooperation with the stakeholders identified in the Founding Regulation (articles 6 – 10)? 

 
The  evaluation  shows  a  clearly  favourable  assessment  in  terms  of  the  FRA's  coordination  and 
cooperation with the stakeholders in the Founding Regulation. The FRA has established effective 
procedures  for  coordination  and  cooperation  which  ensure  coherence  of  policies  and  activities 
with stakeholders at all levels. Strong formal procedures exist between the FRA and the Council 
of Europe and the European Commission. These formal procedures are strengthened by informal 
channels.  It  seems  that  the  benefits  of  collaboration  are  being  reached  through  informal 
channels,  with  direct  contact  between  respective  staff  in  each  institution,  who  keep  each  other 
informed and creating synergies between the work conducted. 
 
 

 
 
VI
 
 
 
 
 
 
The relevant EU Agencies, the European Commission and the European Parliament all expressed 
positive views with regard to the collaboration with the FRA. Furthermore, the FRA works in close 
cooperation  with  the  Council  of  Europe,  no  duplication  of  work  has  been  cited  and  the  two 
organisations create strong possibilities for complementarity of work. With respect to cooperation 
and collaboration with the UN, it can be concluded that the FRA is avoiding duplication of efforts 
and is achieving a sufficient level of complementarity.  
 
The results of the evaluation indicate that the FRA is engaging fairly well with non-governmental 
organisations  and  institutions  of  civil  society.  However,  there  is  evidence  which  suggests  that 
local level organisations are less aware and benefit to a lesser extent from the FRA’s cooperation 
and coordination activities than organisations at the EU and national levels.   
 
Conclusions and recommendations 
 
It can be concluded that the FRA has clearly fulfilled its mandate in addressing the needs for full 
respect  of  fundamental  rights  in  the  framework  of  European  Union  law,  in  relation  to  relevant 
institutions, bodies, offices and agencies of the Union. The work of the FRA has contributed to a 
greater  knowledge-base  regarding  fundamental  rights  issues  among  policy/decision-makers  and 
stakeholders in the European Union.  
 
The  European  Commission  and  the  European  Parliament  see  a  clear  added  value  of  the  FRA  to 
the policy implementation at the EU level. At the Member State level the value is less clear and 
more mixed. It can be concluded that the work of the Agency contributes to policy development 
in that policy-makers are well familiar with the Agency's outputs and activities, and consider the 
Agency's  evidence  base  as  objective  and  reliable input  to the  policy  process. This  is  particularly 
true at the EU level, while at the national level the contribution is less clear. The usefulness for 
different stakeholders stems largely from the mandate of the FRA, which clearly emphasises the 
comparative  aspect  of  the  data  collection  and  research  undertaken  by  the  Agency.  What  is 
considered  highly  useful  for  EU  institutions,  such  as  EU  wide  data  collection,  is  not  always 
considered equally relevant for and by the Member States.  
 
•  The evaluators recommend the FRA to undertake, with the Management Board and possibly 
other stakeholders, a thorough review of priorities. The objective should be to ensure that the 
available  resources  are  used  in  the  most  effective  and  efficient  way,  which  may  mean  a 
smaller number of projects, stakeholder focus or scope of activities. It will not be possible for 
the FRA to continue an approach where the Agency tries to fulfil everybody's expectations to 
the same extent. 
•  The  evaluators  recommend  that  the  FRA  continue  its  on-going  efforts  to  be  relevant  and 
useful  for  Member  States,  in  order  to  create  the  necessary  linkages  to  deliver  pertinent 
evidence and advice. However, the work needs to target issues which are relevant to several 
Member States, rather than trying to cater specific needs of individual Member States 
 
The FRA's responses to ad hoc-requests have been appreciated by stakeholders, and have been 
used  as  input  in  the  policy  debate  and  legislative  process.  While  it  is  highly  positive  that  the 
expertise of the Agency seems to be increasingly in demand, this may also become a challenge in 
terms of workload and planning. When requests arrive, they in general need to be prioritised at 
the  expense of  running  research  projects.  Hence,  the  more  requests  arrive, the  more  difficult it 
may be for the Agency to free necessary resources to provide high quality responses.  
 
•  The  evaluators  recommend  that  a  strategy  for  meeting  increasing  demand  for  ad  hoc-
requests  be  developed,  in  order  to  ensure  that  the  most  pertinent  needs  for  responses  on 
fundamental rights issues are met within the available resources. 
 
It can be concluded that the FRA has a good ability to sustain its current activities, with systems, 
procedures and methodologies in place to carry out its mandate.  
 
In  terms  of  organisational  or  institutional  factors  no  barriers  to  optimal  performance  were 
identified  in  the  evaluation  -  obstacles  relate  rather  to  the  mandate  and  the  Multi  Annual 
Framework.  The  mandate  and  the  Multi  Annual  Framework  set  limits  to  what  the  FRA  can 
 

 
 
VII
 
 
 
 
 
 
undertake and what advice it can bring forward. The evaluation findings show that stakeholders 
perceive that,  as  consequence  of  the  mandate  and the  MAF,  the  Agency's  full  potential  towards 
providing advice in the field of fundamental rights is not being utilised. 
 
It is considered that the FRA could have a clearer position in the legislative process, for example 
through  contributions  to  impact  assessments  and  providing  opinions  on  legislative  proposals.  It 
was  generally  thought  that  the  Agency  is  an  untapped  resource  to  this  end,  which  could 
significantly contribute to safeguarding fundamental rights in the legislative process at European 
level. There were also several opinions regarding the independence of the FRA, which is seen as 
limited  due  to  its  dependency  of  the  European  Commission  and  restricted  mandate  in  terms  of 
issuing  at  its  own  initiative  FRA  opinions  regarding  legislation.  Furthermore,  the  exclusion  of 
judicial  cooperation  in  criminal  matters  from  the  Multi  Annual  Framework  was  seen  by  several 
stakeholders to be inconsistent from the European citizen's perspective as this means that not all 
the  fundamental  rights  included  in  the  EU  Charter  on  Fundamental  Rights  are  covered  by  the 
mandate of the FRA. 
 
The  above  views  were  mainly  heard  from  the  level  of  the  European  Parliament,  Civil  Society 
Organisations,  and  to  some  extent  Member  States.  The  issue  is  highly  political,  and  the 
discussion  is  on-going  as  to  whether  the  FRA  should  have  a  stronger  and  more  independent 
position  in  the  institutional  framework.  While  the  evaluation  does  not  allow  for  a  thorough 
analysis  of  different  scenarios,  the  findings  do  support  the  notion  of  a  more  independent 
fundamental rights agency, along the Paris principles of National Human Rights Institutions.  
 
Another  challenge  of  the  mandate  relates  to  the  stakeholders  identified  in  the  Founding 
Regulation,  since  their  expectations  and  needs  differ.  For  example  the  European  Commission 
requests EU-wide analyses, while the Member States would like more direct support and country 
research.  Civil  society  on  the  other  hand  demands  more  monitoring  and  safeguarding  of 
fundamental  rights.  While  the  expectations  are  not  necessarily  contradictory,  meeting  them 
would require a set of different approaches to the work conducted by the Agency, i.e. working on 
very different types and scales of research, something which is not considered realistic within the 
current resources.  
 
To  strike  a  balance  is  difficult,  and  also  risks  leading  to  a  situation  where  none  of  the 
stakeholders view the FRA as a reliable partner and resource. Currently, the FRA is attempting to 
meet  the  needs  and  expectations  from  all  stakeholders.  While  acknowledging  that  no 
stakeholders  should  be  disregarded,  it  is  not  considered  by  the  evaluators  to  be  sustainable  in 
the  long  run  to  attempt  to  meet  the  meets  and  expectations  from  all  stakeholders  to  the  same 
extent
. Therefore there will be a need to prioritise the efforts of the Agency. 
 
•  The evaluators recommend that limits of the mandate of the FRA be examined and discussed, 
to  ensure  that  the  Agency's  mandate  is  supportive  of  the  objective  of  providing  advice  and 
assistance to support the full respect of fundamental rights. 
•  In particular it should be clarified to what extent the FRA should be mandated to issue on its 
own initiative opinions in the legislative process and have a wider mandate to address 
particular pertinent issues occurring in Member States. 
 
Since its establishment, the Agency has developed into a well-functioning organisation, which is 
largely appreciated by stakeholders for its openness and responsiveness. In terms of the internal 
procedures and systems, the FRA is now at a point of development where the focus should be on 
consolidation  and  implementation  of  procedures  and  systems,  such  as  the  Management 
Information System MATRIX, the Performance Measurement Framework and Quality Management 
System.  
 
•  The  evaluators  recommend  a  focus  on  continued  consolidation  and  implementation  of  the 
different  management  tools  developed,  such  as  MATRIX,  Quality  Management  System  and 
Performance  Measurement  Framework.  Efforts  should  be  made  to  ensure  that  the  systems 
are properly implemented and also used. New initiatives should be avoided. 
•  The evaluators recommend the FRA to ensure that staff workload continues to be regularly 
monitored, to ensure that there is a reasonable workload. 
 

 
 
1
 
 
 
 
 
 
1.  INTRODUCTION 
Ramboll  Management  Consulting  has  been  awarded  the  contract  "External  Evaluation  of  the  EU 
Agency  for  Fundamental  Rights,  FRA".  This  report  constitutes  the  final  report  of  the  external 
evaluation, presenting findings related to the evaluation questions and conclusions.  
 
The report contains five main sections: 
 
1.  Introduction – purpose and methodology 
2.  Background – mandate, structure, organisation and activities of the FRA 
3.  Evaluation findings – results for each evaluation question 
4.  Conclusions and Recommendations – responses to overall evaluation objectives and 
recommendations for actions 
 
1.1 
Purpose of the evaluation 
The purpose of the assignment was to undertake an independent evaluation of the Fundamental 
Rights Agency (henceforward the FRA or the Agency) as stipulated in the Founding Regulation of 
the  Agency3.  As  stated  in  the  Terms  of  Reference,  the  overall  objective  of  the  study  was  to 
evaluate  the  effectiveness,  efficiency,  added  value,  utility,  coordination  and  coherence  of  the 
contribution  made  by  the  Fundamental  Rights  Agency  while  the  main  specific  objectives  are  as 
follows: 
•  To  identify  instruments  for  evaluating  the  FRA  effectiveness,  efficiency  and  its  added 
value; 
•  To assess the FRA's usefulness in assisting EU institutions and Member States to ensure 
fundamental rights are respected;  
•  To  assess  the  overall  ability  of  the  FRA  to  sustain  its  activities  and  meet  future 
challenges;  
•  To define the barriers and obstacles to optimal performance;  
•  To identify relevant actions to improve the performance and added value; 
•  To identify actions needed to eliminate or reduce possible inefficiencies;  
•  To  identify  challenges  as  regards  the  FRA's  governance  (including  managerial  issues, 
planning and priority setting and working practices); 
•  To  benchmark  the  overall  efficiency,  balance  of  resources,  budget  distribution  and 
resource allocation with other organisations carrying out similar tasks. 
 
This is consistent with the objectives of the evaluation as given in the Founding Regulation (Art. 
30(3)), which states that the external evaluation shall: 
•  take into account the tasks of the Agency, the working practices and impact of the Agency 
on the protection and promotion of fundamental rights; 
•  assess  the  possible  need  to  modify  the  Agency's  tasks,  scope,  areas  of  activity  or 
structure; 
•  include  an  analysis  of  the  synergy  effects  and  the  financial  implications  of  any 
modification of the tasks; and 
•  take into account the views of the stakeholders at both Union and national levels. 
 
1.2 
Methodology for the evaluation 
The  evaluation  used  a  combination  of  tools  and  data  collection  activities  to  respond  to  the 
evaluation  questions.  Below  a  brief  overview  of  the  main  steps  and  activities  of  the  evaluation 
process  is  presented.  For  a  more  in-depth  description  please  refer  to  the  inception  report  in 
annex 1. 
 
 
                                                
3 Council Regulation (EC) no 168/2007 of 15 February 2007 establishing a European Union Agency for Fundamental Rights, 
Article 30 (3). 
 

 
 
2
 
 
 
 
 
 
 
1.2.1  Online surveys 
Two surveys were conducted as part of the evaluation. 
 
•  One  survey  was  directed  towards  the  key  stakeholders  of  the  FRA,  as  defined  in  the 
Founding  Regulation.  Contact  details  (name,  organisation  and  e-mail  address)  were 
provided  by  the  FRA  to  the  evaluation  team,  and  the  online  survey  was  sent  to  all 
respondents.  The  data  collection  was  open  for  approximately  four  weeks  and  four 
reminder mails were sent out during this period of time. 
•  A  second  survey  was  directed  towards  the  FRA's  staff,  members  of  the  Management 
Board  and  members  of  the  Scientific  Committee.  Also  in  this  survey,  all  contact  details 
were provided by the FRA. It was sent out to staff in two different waves, both of which 
had the duration of approximately four weeks. Three reminder mails were sent out during 
the data collection. 
 
The response rate for each survey can be seen below in Table 1.  
Table 1: Overall response rate, both surveys 
 
External survey 
Internal survey4 
 




Complete 
41.2 
299 
70.1 
117 
Partially 
5.1 
37 
0.0 

Complete5 
Rejected6 
9.2 
67 
4.8 

No answer 
44.4 
322 
25.1 
42 
Total 
100.0 
725 
100.0 
167 
 
The overall response rate for the external survey is considered to be adequate. In the evaluator's 
experience a response rate of above 40% is even a bit higher than usually seen in similar surveys 
with  multiple  external  stakeholders.  However,  the  response  rates  are  unevenly  distributed 
between respondent groups, ranging from just above 20% for the European Parliament, to 83 % 
for the FRANET7. For respondent groups such as the European Parliament and the Council of the 
EU few respondents were included in the data set to begin with, which means the answers from 
these institutions are based on a small number of individuals. Hence, interpretation of results has 
to been done with caution, and the actual numbers are stated when necessary. 
 
Response rates per respondent groups can be found in Annex 5, together with the complete set 
of responses to the surveys (frequency tables). 
 
This  external  evaluation  of  the  FRA  is  the  first  one  of  its  kind,  taking  place  five  years  after  the 
establishment of the Agency. This means that there is currently no quantitative baseline towards 
which the evaluation results can be compared. In order to mitigate for this, the evaluation team 
has together with the steering group8 agreed on judgement criteria for the evaluation questions. 
The target has been set at 70%, meaning that where at least 70% of the responses are positive, 
the  judgement  criterion  is  considered  fulfilled.  As  this  is  a  rather  ambitious  threshold,  the 
evaluators have chosen to apply it with due consideration and to base their assessment also on 
other sources of data such as interviews and case studies in addition to the surveys. 
 
 
                                                
4 These figures only include the respondents representing AD staff, members o the Management Board and members of the 
Scientific Committee.  
5 The partially completed responses have been included in the below analysis. 
6 Rejected includes bounced mails and respondents who actively declined to participate in the survey. 
7 FRANET consists of specialised research institutions which are contracted by FRA to undertake research, wherefore a high 
response rate was to be expected. 
8 The steering group consisted of the FRA's Heads of Departments, the Director and the planning manager (task manager for the 
evaluation).  
 

 
 
3
 
 
 
 
 
 
 
1.2.2  Interviews 
In parallel and subsequent to the surveys, interviews were carried out both with key stakeholders 
and the FRA staff. The table below gives an overview of the interviews conducted with different 
stakeholder groups. 
 
Organisational 
EQs/Themes covered 
Mode 
affiliation of 
Interviewee 
FRA Management 

All 
Face to face 
FRA Staff  
Effectiveness, Efficiency 
Face to face 
FRA Management Board 
Effectiveness, Utility and Efficiency 
Phone 
(sample) 
European Commission 

Effectiveness, Added value and 
Face to face 
Utility 
and phone 
European Parliament 
Effectiveness, Added value, Utility 
Face to face 
and Coordination 
and phone 
Council of Europe 
Added value and Coordination 
Face to face 
International Bodies 
Added value and Coordination 
Phone 
(UN) 
MS Authorities  

Effectiveness, Added value and 
Phone 
Utility 
Civil Society 
Effectiveness, Added value and 
Phone 
Organisations  
Utility 
 
In total around 100 persons were interviewed, also taking into account the interviews conducted 
in the case studies described below. 
 
1.2.3  Case studies 
A  case  study  is  an  in-depth  investigation  to  explore  causation.  In  the  evaluation  case  studies 
were used to examine the identified assumptions and mechanisms in the FRA intervention logic. 
 
As  has  been  noted  in  the  FRA's  own  performance  measurement  system9,  there  are  major 
challenges  inherent  to  create  links  between  different  levels  of  interventions.  To  this  end,  data 
collection  on  outputs  and  outcomes  is  not  sufficient,  as  information  on  the  relationship  or  link 
between the two is also required.  
 
Hence,  the  case  studies  were  used  to  analyse  the link  between  the  FRA's  activities  and  outputs 
and  higher  level  outcomes  (immediate  and  intermediate).  In  this  context,  it  is  important  to 
differentiate between contribution and attribution, where attribution indicates a direct causal link 
between activities and outcomes, contribution deals with the likely influence or change generated 
by the FRA's activities.  
 
In  evaluation  theory  and  research  this  approach  is  labelled  “Contribution  Analysis10”,  and  is 
particularly  useful  in  complex  programmes  and  environments  with  multiple  stakeholders  and 
other  influencing  factors,  characterised  by  an  absence  of  baseline,  quantitative  indicators,  or 
possible counterfactual situations. The case studies were used to produce so called “performance 
stories”,  i.e.  to  establish  why  it  is  reasonable  to  assume  that  the  actions  of  the  FRA  have 
contributed to the observed outcomes, in line with the intended intervention logic. The outcome 
of  the  cases  is  presented  in  case  study  reports,  entailing  the  performance  stories,  in  narrative 
form.  The  case  studies  fed  into  the  overall  evaluation  in  terms  of  responding  to  higher  level 
questions on the FRA’s effectiveness, added value and utility. 
 
For choosing the case studies the following considerations were taken into account: 
                                                
9 Ensuring FRA delivers Results, page 3. 
10 Mayne, John, (2001). Addressing attribution through contribution analysis: using performance measures sensibly.  The 
Canadian Journal of Programme Evaluation, volume 16, Nr. 1 p. 1-29. 
 

 
 
4
 
 
 
 
 
 
•  The  cases  should  be  illustrative  of  the  work  of  the  FRA  i.e.  representing  core  tasks  and 
functions carried out by the FRA, which will enable us to draw conclusions on the mechanisms 
at play. 
•  The cases should be forward-looking in the sense that they should concern activities which 
are  expected  to  continue  (not  one-off  activities).  This  will  ensure  that  the  case  studies  are  
useful with respect to generating recommendations  
•  The  activities  should  be  fairly  new  and/or  ongoing  in  order  to  be  able  to  identify  relevant 
interviewees but at the same time the immediate and intermediary effects of the activities in 
question should have materialised.  
 
Based on the above considerations, and the available resources, five case studies were selected, 
within the following themes: 
 
Case  
Type of Project 
Framing 
Theme 
FRA Annual Report  
Rolling Annual  
Annual Report 2009 
Horizontal Activity 
and 2010 
Situation of irregular 
Multiyear project 
2009-2011 
Asylum, migration 
migrants (including 
(concluded) 
and borders  
FRC 2011)  
Roma projects 

Cluster of projects 
From 2007 – YTD 
Equality 
focussing on Roma 
(with a focus on from 
issues 
2009 EU MIDIS data 
in focus report) 
Gender-based violence 
Ongoing EU Wide 
Current project 
Access to Justice 
against women 
survey 
Homophobia and 
Research, reports, 
From 2008 - YTD 
Equality 
discrimination on 
awareness raising 
grounds of sexual 
orientation 
 
Case study reports can be found in annex 5. 
 
 

 
 
5
 
 
 
 
 
 
2.  THE EUROPEAN AGENCY FOR FUNDAMENTAL RIGHTS 
2.1 
Background and mandate of the FRA 
At  the  date  of  its  adoption,  the  Founding  Regulation11  of  the  European  Union  Agency  for 
Fundamental Rights (FRA) reaffirmed in its preamble the principles of liberty, democracy, respect 
for  human  rights  and  fundamental  freedoms  and  the  rule  of  the  law  as  common  values  to  the 
Member States12. 
 
With the entry into force of the Lisbon Treaty on 1 December 2009, the Charter of Fundamental 
Rights  of  the  European  Union13  (EU)  became  legally  binding14.  This  new  status  of  the  Charter 
strengthens  the  Union’s  action  in  respect  for  fundamental  rights.  The  Charter  is  an  innovative 
instrument  as  it  brings  together  in  one  text  all  the  fundamental  rights  protected  in  the  Union, 
while spelling them out in detail15. The Charter applies primarily to the institutions and bodies of 
the  Union16.  It  therefore  concerns  in  particular  the  legislative  and  decision-making  work  of  the 
Commission, Parliament and the Council, the legal acts of which must be in full conformity with 
the Charter. The Charter thus complements, but does not replace national constitutional systems 
or  the  system  of  fundamental  rights  protection  guaranteed  by  the  European  Convention  on 
Human Rights. 
 
The objective of the Commission's policy following the entry into force of the Lisbon Treaty is to 
make the fundamental rights provided for in the Charter as effective as possible. The Union must 
be exemplary in this respect.17
 
 
Within  the  framework  of  this  policy  background,  the  FRA  can  be  seen  as  a  key  vehicle  for 
providing  reliable  and  comparable  data  on  fundamental  rights  assisting  therewith  the  EU 
Institutions  and  the  Member  States  in  respecting  the  EU  Charter  of  fundamental  rights  when 
implementing Union law. The FRA's mandate, tasks and activities are crucial for the fulfilment of 
the  EU’s  legal  commitments.  The  FRA  is  also  expected  to  play  an  active  role  in  clarifying  the 
scope of the Charter to citizens.18 
 
Under  the  Lisbon  Treaty,  the  accession  of  the  European  Union  to  the  European  Convention  on 
Human  Rights  became  a  legal  obligation.  Such  an  accession  will  complement  the  system  to 
protect fundamental rights by making the European Court of Human Rights competent to review 
Union acts. The compliance of Community acts with fundamental rights, and the subsequent role 
of FRA under such a framework will be all the more important. 
 
 
 
                                                
11 Council Regulation (EC) No 168/2007 of 15’th February 2007 establishing a European Agency for Fundamental Rights
Official Journal of the European Union L 53/1 of 22’nd of February 2007. 
12 Article 6, Consolidated version of The Treaty on European Union, O.J. C83/13 of 30.3.2010. 
13 The Charter was solemnly proclaimed by Parliament, the Council and the Commission in Nice on 7 December 2000 (OJ C 
364, 18.12.2000). On 12 December 2007 the Presidents of Parliament, the Council and the European Commission signed and 
once again solemnly proclaimed the Charter. 
14 Article 6, Consolidated version of the Treaty on the European Union and on the Functioning of the European Union, OJ C 
115, 09/05/2008. 
15 The rights and principles enshrined in the Charter stem from the constitutional traditions and international conventions 
common to the Member States, the European Convention on Human Rights, the Social Charters adopted by the Community 
and the Council of Europe, and the case law of the Court of Justice of the Union and the European Court of Human Rights 
16 Article 51(1) of the Charter. 
17 Commission Communication  COM(2010) 573 final “Strategy for the effective implementation of the Charter of 
Fundamental Rights by the European Union” 
Brussels 19.10.2010. 
18 Report from the Commission to the European Parliament, The Council, The European Economic and Social Committee and 
the Committee of the Regions “2010 Report on the application of the EU Charter of Fundamental Rights” COM(2011) 160 
final Brussels 30.3.2011. 
 

 
 
6
 
 
 
 
 
 
2.2 
Brief history and description of the FRA  
The  Agency,  which  was  established  in  March  2007 by Regulation  (EC)  1035/9719,  is  now  one  of 
the EU’s specialised agencies. The Agency is located in Vienna and was built upon the structures 
of the European Monitoring Centre on Racism and Xenophobia (EUMC)20 which studied the extent 
and  development  of  the  phenomena  and  manifestations  of  racism,  xenophobia,  antisemitism, 
Islamophobia and related intolerance. The EUMC had existed since 1998.  
 
The FRA's mandate was extended in order to be able to support the relevant Institutions of the 
Community and the  Member States to take measures and formulate courses of action that fully 
respect  fundamental  rights  within  the  meaning  of  Article  6(2)  of  the  Treaty  on  the  European 
Union21,  the  Charter  of  Fundamental  Rights  of  the  European  Union22  and  the  European 
Convention for the Protection of Human Rights. 
 
The Agency was set up to provide assistance and independent expertise relating to fundamental 
rights,  in  the  domain  of  Community  law.  The  FRA's  activities  therefore  serve  to  support  the  EU 
institutions  and  Member  States  in  raising  the  level  of  protection  for  everyone  in  the  European 
Union.  
 
To achieve this objective, the Agency provides independent advice to policy-makers and national 
governments. To this end, it collects data on fundamental rights, conducts research and analysis, 
issues  opinions,  cooperates  and  facilitates  networks  with  key  human  rights  stakeholders,  and 
develops communication activities to disseminate the results of its work and raise awareness of 
fundamental rights. 
 
The  director  of  the  FRA  is  appointed  by  the  Management  Board  on  a  five  year  term  with  the 
possibility for prolongation for additional three years. In addition, and unlike other agencies, the 
FRA has a Scientific Committee in order to ensure the scientific quality of the Agency's work. The 
Scientific Committee is appointed after an open selection procedure. 
 
A  memorandum  of  understanding23  between  the  Council  of  Europe  and  the  European  Union  has 
been signed to ensure full synergy between the two institutions.  
 
The  FRA  has  signed  a  Cooperation  Agreement  with  the  European  Institute  for  Gender  Equality 
(EIGE)  to  increase  efficiency,  avoid  duplications  and  foster  cooperation  concerning  all  kinds  of 
relevant activities. It also has a  Cooperation Agreement with FRONTEX and  EUROFOUND, and a 
Protocol  for  Cooperation  with  the  UNDP.  These  measures  are  intended  to  mitigate  the  risk  of 
duplication  of  activities  with  other  institutions,  and  to  allow  the  FRA  to  fulfil  its  mandate  more 
effectively and efficiently. 
 
2.2.1  The FRA's mandate, tasks and long-term objectives 
According to Article 2 of its Founding Regulation24 the FRA’s objective is to provide the relevant 
institutions,  bodies,  offices  and  agencies  of  the  Community  and  its  Member  States  when 
implementing  Community  law  with  assistance  and  expertise  relating  to  fundamental  rights  in 
order  to  support  them  when  they  take  measures  or  formulate  courses  of  action  within  their 
respective spheres of competence to fully respect fundamental rights

 
 
 
                                                
19 Council Regulation (EC) No 168/2007 of 15’th February 2007 establishing a European Agency for Fundamental Rights
Official Journal of the European Union L 53/1 of 22’nd of February 2007 (Founding Regulation). 
20 Established by Regulation (EC) No 1035/97 (repealed), OJ L 151, 10.6.1997.  
21 Article 6, Consolidated version of the Treaty on the European Union and on the Functioning of the European Union, OJ C 
115, 09/05/2008.  
22 Charter of Fundamental Rights of the European Union of 7’th of December 2000 as adapted at Strasbourg, on 12 
December 2007, which shall have the same legal value as the Treaties. 
23 Agreement between the European Community and the Council of Europe on cooperation between the European Union 
Agency for Fundamental Rights and the Council of Europe of 18’th June 2008, published in the Official Journal of the 
European Union, L 186/7 of 15.7.2008. 
24 Council Regulation (EC) No 168/2007 of 15’th February 2007 establishing a European Agency for Fundamental Rights, 
Official Journal of the European Union L 53/1 of 22’nd of February 2007. 
 

 
 
7
 
 
 
 
 
 
The activities of the FRA are organised around three main tasks: 
•  Data collection, research and analysis25;  
•  Providing independent advice to policy-makers and networking with stakeholders26; 
•  Developing communication activities to disseminate the results of its work and to raise 
awareness of fundamental rights27.  
 
As opposed to other actors in the field, the FRA is not a monitoring or standard setting institution 
such as the Council of Europe, nor is it empowered to examine individual complaints such as the 
European  Court  of  Human  Rights  or  has  regulatory  decision-making  power.  The  mandate 
stipulates that the FRA should formulate conclusions and issue opinions to the European Union's 
institutions, bodies and agencies and Member States on the situation of fundamental rights in the 
implementation of Union law. Moreover, the FRA has the capacity to carry out scientific research 
and comparative analysis, follow cross-cutting trends, raise public awareness and provide advice 
and  guidance  to  national  governments  as  well  as  to  legislators  at  EU  level.  The  FRA  therefore 
ultimately  aims  to  contribute  to  evidence-based  policy  making  across  the  EU  27  (plus  EU 
accession countries, currently Croatia).  
 
Based  on  the overall  objective,  scope  and  tasks  set  out  in the  Founding  Regulation28,  the  FRA’s 
long term strategic objectives set out in its mission statement29 are: 
•  To identify and analyse major trends in the field of fundamental rights 
•  To assist the EU and its Member States in decision-making by providing quality and 
relevant data, facts and opinions 
•  To inform target audiences through awareness-raising activities and use of data collected 
in the field providing factual evidence 
•  To identify and disseminate examples of good practices 
 
2.2.2  Thematic Areas and short term-objectives 
The  Agency’s  thematic  areas  of  work  have  been  determined  through  a  five-year  Multiannual 
Framework adopted by the Council after consultation with the European Parliament30. Bearing in 
mind  the  objectives  of  the  foundation  of  the  Agency  and  with  due  regard  to  its  financial 
resources, the Agency shall carry out tasks within the following thematic areas: 
•  Racism, Xenophobia and related intolerance 
•  Discrimination based on sex, race or ethnic origin, religion or belief, disability, age or 
sexual orientation and against persons belonging to minorities 
•  Compensation of victims 
•  The rights of the child, including the protection of children 
•  Asylum, immigration and integration of migrants 
•  Visa and border control 
•  Participation of the citizens of the Union in the Union’s democratic functioning 
•  Information society, in particular, respect for private life and protection of personal data 
•  Access to efficient and independent justice  
 
The  2007-2012  FRA  Mission  and  Strategic  objectives set  out  a  number  of  short  term  objectives 
for each of the thematic areas. These objectives are the basis for specific actions with regard to 
data  collection,  research  and  analysis  in  selected areas  and  their  dissemination  and  awareness-
raising towards stakeholders. 
 
Both the FRA's Multiannual Framework and 2007-2012 Strategic objectives were revised in 2012, 
a process which was ongoing at the time of the evaluation. 
 
                                                
25 Article 4, (a), (b) and (c) Regulation 168/2007. 
26 Article 4, (d) Regulation 168/2007. 
27 Article 4, (d), (e) and (h) Regulation 168/2007. 
28 Articles 2 – 4 Regulation 168/2007. 
29 FRA Mission and Strategic Objectives 2007-2012. 
30 Council Decision 2008/203/EC of 28 February 2008 implementing Regulation (EC) No 168/2007 as regards the adoption of 
a Multi-Annual Framework for the European Union Agency for Fundamental Rights for 2007-2012. 
 

 
 
8
 
 
 
 
 
 
2.3 
The FRA's development since establishment 
Since its establishment in 2007, the FRA has developed progressively into being fully staffed by 
end  2011/beginning  2012.  The  establishment  plan  for  2012  provides  for  47  AD  staff,  28  AST 
staff, 25 Contract Agents and five Seconded National Experts (SNEs)31, and the total number of 
staff  in  February  2012  was  117  employees,  with  71  permanent  employees,  21  contract  agents, 
three  SNEs,  17  interim  staff  and  15  interns.  The  evolution  of  staffing  can  be  seen  in  the  table 
below32.  
Table 2: Staff development in the Agency 
Actual staff numbers end of year 
2007 
2008 
2009 
2010 
2011 
AD staff 
13 
14 
26 
37 
44 
AST staff 
21 
21 
22 
22 
26 
Contract Agents 

10 
12 
14 
19 
Seconded National Experts (SNE) 





33
Interims 
 


17 
17 
17 
Total 
45 
56 
81 
94 
109 
 
Every  year  between  10  and  20  recruitments  have  been  completed,  which  can  be  considered  a 
rather rapid growth rate, with a high number of applications received for some posts (according 
to  interviews  up  to  700  applicants  for one  recruitment  procedure).  As  can  be  seen  in  the  table, 
the increase in staff has  mainly been in AD staff and Contract Agents, showing that it is mainly 
operational  staff,  which  has  joined  the  Agency  since  its  establishment,  with  only  five  additional 
posts for administrative staff.  
 
In  interviews  with  the  FRA  management  and  staff  it was  repeatedly  mentioned  that the  Agency 
was  at  almost  "cruising  speed"  with  most  staff  in  place,  work  procedures  developed  and 
implemented.  It  was  generally  considered  that  the  future  would  now  entail  consolidation  and 
fine-tuning of the Agency's work, after a period of fast development.  
 
Since  its  establishment,  the  total  allocated  budget  of  the  Agency  has  increased  overall  by 
approximately 30%. The budget development is indicated in the table below. As can be seen the 
European Union subsidy amounts to practically the entire budget, which is to be expected since 
the Agency does not engage in revenue generating activities.  
Table 3: Overall development of the FRA's budget in € 
Development of 
2007 
2008 
2009 
2010 
2011 
2012 
the budget  
Total budget 
14,398,266 
15,000,000 
17,162,667 
20,214,430 
20,695,786 
20,376,020 
Union subsidy 
14,191,093 
15,000,000 
17,000,000 
20,09,0010 
20,180,020 
20,376,020 
% Subsidy 
99% 
100% 
99% 
99% 
98% 
100% 
 
More detailed figures obtained from the FRA's administration department show the commitments 
and outturn. The overview shows that the FRA has had difficulty spending in particular the Title I, 
staff expenditures, up until 2010, with 25% to 36% of the committed Title I reallocated to Title 
III  Operational  expenses.  In  2011,  the  committed  budget  and  outturn  were  in  line  for  all  three 
titles. The reallocation of resources between Title I and Title III explains also to some extent the 
challenges in committing the operational budget before the end of the year. 
 
 
 
 
                                                
31 http://fra.europa.eu/fraWebsite/attachments/2012Statement-of-revenue-and-expenditure.pdf. 
32 All figures provided by FRA's Human Resources and Planning department. 
33 Interims are formally not part of staff. They often fill vacancies, which is why the same post may be present twice in the 
yearly figures (for recruitments done during the year). 
 


 
 
9
 
 
 
 
 
 
2.4 
The FRA's organisation and management  
The overall organisation and management structure of the FRA is presented in the figure below. 
Figure 1: Organisation of the FRA, from the FRA website 34 
 
2.4.1  Management Structure 
The FRA is governed by a Management Board (MB) consisting of independent persons nominated 
by the Member States, i.e. they cannot be civil servants. Members of the Management Board are 
required to have knowledge in the field of fundamental rights and high level responsibilities in an 
independent  national  human  rights  institution  or  other  public  or  private  sector  organisation.  In 
the  MB  there  are  also  two  representatives  of  the  European  Commission  and  one  representative 
from the Council of Europe. Candidate Countries can participate as observers and this is currently 
the case for Croatia. 
 
The  MB  meets  twice  a  year  (May  and  December),  and  the  individuals  are  nominated  for  a  time 
period  of  five  years  (non-renewable).  In  May  2012  half  of  the  MB  was  renewed  (including  the 
Chair).  The  MB  elects  its  Chairperson  and  Vice-Chairperson  and  two  other  members  of  the 
Executive  Board  for  a  two-and-a-half  year  term,  renewable  once.  The  Executive  Board  is  in 
contact  more  frequently  and  serves  as  a  reference  point  to  the  Director  in  the  day-to-day 
operations  of  the  Agency.  In  addition,  the  MB  entails  a  Budget  Committee  with  responsibilities 
related to financial and budgetary issues. The Budget Committee is informed about the reports of 
the  European  Court  of  Auditors  and  the  Internal  Audit  Service  of  the  Commission  acting  as  the 
Agency’s internal auditor. 
 
The Scientific Committee is not a management structure per se, but provides advice and opinions 
on  the  scientific  quality  of  the  FRA's  work.  The  Scientific  Committee  meets  four  times  per  year, 
but individual members are connected to projects and are in more frequent contact and can also 
participate in relevant meetings. The mandate of the current Scientific Committee expires and it 
will  be  replaced  as of  June  2013.  Currently  a  selection  procedure  is ongoing, based  on  an  open 
call for proposals to the Scientific Committee.  
 
 
 
                                                
34 http://fra.europa.eu/fraWebsite/about_fra/who_we_are/who_we_are_en.htm. 
 

 
 
10
 
 
 
 
 
 
2.4.2  Organisation of the Agency 
The  FRA  consists  of  three  operational  departments  (Freedoms  and  Justice,  Equality  &  Citizens’ 
Rights, Communication and Awareness Raising) and two support departments (Human Resources 
and Planning, and Administration). The Freedoms and Justice (FJ) department focuses on access 
to justice; asylum, migration and borders; and information society, privacy and data protection. 
The  Equality  and  Citizens'  Rights  (ECR)  department  focuses  on  equality  and  non-discrimination; 
racism;  and  the  rights  of  the  child.  These  two  departments  are  often  referred  to  as  the  two 
"research" departments. The Communication and Awareness Raising (CAR) department supports 
the FRA in its role of providing evidence-based advice through consultation, communication and 
cooperation activities. The two support departments support the operational work of the Agency 
(Administration)  and  ensure  the  standards  for  the  management  and  development  of  the  FRA's 
human resources (HR and Planning). 
 
During  2011  an  organisational  change  was  undertaken,  transferring  the  tasks  of  the  former 
External  Relations  &  Networking  Department  partly  to  Communication  and  Awareness  Raising 
and  partly  to  the  two  “research”  departments  Freedoms  and  Justice,  and  Equality  &  Citizens' 
Rights. Project managers who are almost solely members of the two “research” departments are 
now responsible for the entire project including data collection and analysis, as well as “vertical” 
stakeholder  engagement.  This  means  that  their  tasks  include  networking  and  cooperation  with 
the specific stakeholders of any given thematic FRA project, hence aiming to address Art. 2 of the 
Founding Regulation (evidence-based advice).  
 
The  CAR  department  is  now  responsible  for  the  “horizontal”  stakeholder  cooperation,  aiming  to 
fulfil  the  “cooperation”  function  of  the  Agency  (Art.  6-10  Founding  Regulation),  as  a  way  of 
ensuring effective and close communication with key institutions and partners. CAR has therefore 
installed liaison persons dedicated to the cooperation with different stakeholder groups, such as 
the  European  Parliament,  the  Council,  National  Liaison  Officers  of  the  EU  Member  States,  civil 
society  (Fundamental  Rights  Platform  -  FRP)  and  national  human  rights  bodies.  Another  change 
was to move the scientific editing of final reports from CAR to the research departments (now it 
is under Equality and Citizen's Rights department). Specific staff in the two research departments 
are also tasked with horizontal cooperation with key stakeholders.  
 
Cooperation  between  departments  is  reported  to  work  well35.  In  many  ways  the  two  research 
departments  function  as  one,  with  staff  working  across  departments.  Projects  are  staffed  in  a 
cross-departmental manner including staff from all relevant departments (see also further below 
under coordination and management). 
 
2.4.3  Coordination and management 
The  work  of  the  Agency  is  coordinated  on  an  overall  level  by  bi-weekly  Management  Team 
Meetings  (MT-Meetings),  chaired  by  the  Director  with  all  Heads  of  Departments  (HoDs) 
participating (other colleagues can participate as relevant, and HoDs can second a deputy). The 
meeting is coordinated by the Directorate. It is formalised, with an agenda and meeting minutes, 
and  of  approximately  2.5  hour  duration.  The  aim  of these  meetings  is  to  review  ongoing  action 
points,  inform  about  policy  developments  from  the  European  Commission,  staffing  and  other 
management  related  issues.  A  regular  agenda  item  is  the  so-called  Director's  report,  which 
provides  an  overview  of  progress  towards  milestones  in  projects,  based  on  MATRIX,  with  red 
flags system and checklists. The meetings are reported to work well as means of coordinating the 
day to day work of the Agency. 
 
Project  work  is  organised  in  teams,  with  a  team  leader  and  staff  allocated  to  the  project  from 
different departments (including CAR as well as ADMIN for procurement and budgetary issues), a 
so-called integrated project management approach. The heads of departments meet the project 
team leaders regularly to follow up on project work. In addition to the project work, there are so-
called thematic teams with coordinators, who are responsible for following themes and reporting 
back on relevant policy developments etc. All coordinators meet bi-weekly. 
 
                                                
35 Interviews with FRA staff and Heads of Departments. 
 

 
 
11
 
 
 
 
 
 
According to interviews, the integrated project management approach has greatly contributed to 
increased  quality  and  efficiency  in  the  projects.  By  including  all  involved  departments  from  the 
outset,  synergies  and  knowledge  sharing  has  been  improved,  and  the  focus  on  utilisation  of 
research results in evidence-based advice is considered to be strengthened.  
 
2.4.4  Administration and financial management 
The Agency’s financial management is governed by the Council’s Framework Financial Regulation 
and  is  in  compliance  with  relevant  procedures  of  the  European  Commission.  This  limits  the 
Agency’s  flexibility  in  terms  of  simplification  of  administrative  procedures.  However,  the  Agency 
has  been  working  to  maximise  flexibility  of  its  internal  administrative  processes  with  a  view  to 
reduce unnecessary bureaucracy by simplifying the financial workflow and reducing the financial 
actors  involved.  According  to  the  ADMIN  department,  in  the  assessment  period  the  controls  for 
routine  administrative  expenditure  were  reduced  while  at  the  same  time  mitigating  the 
associated  risks.  The  workflow  of  the  financial  actors  is  reviewed  on  a  regular  basis,  to  ensure 
efficient procedures.  
 
To  streamline  the  procurement  procedures  the  FRA  has  established  a  Steering  Committee  that 
acts  as  an  advisory  body  in  high  value  tendering  procedures.  When  possible,  the  Agency 
participates in the Commission’s inter-institutional tenders to reduce costs in human resources.  
According  to  the  ADMIN  department,  the  Agency  closely  follows  up  any  changes  in  terms  of 
procedures, templates etc. proposed by the Commission and implements them accordingly where 
applicable.  
 
The Agency responds effectively to Audit recommendations and has an objective to follow-up on 
100%  of  audit  recommendations  during  the  year  in  question.  Currently  90%  of  audit 
recommendations from 2011 have been closed (the remaining recommendations concern the key 
performance  indicators,  which  are  currently  being  developed  in  the  context  of  the  new 
Performance  Measurement  Framework,  see  2.4.5  below).  Overall  there  are  few  audit 
recommendations,  and  the  IAS  and  Court  of  Auditors  have  expressed  general  trust  in  the 
Agency's procedures and systems in the audit reports. For the 2011 budget discharge procedure 
the Agency had no comments from the Court of Auditors. 
 
During the assessment period, the FRA has developed its Management Information System (MIS) 
called MATRIX. In detail, the application consists of several interlinked modules such as: 
 

the  Annual  Work  Programme  module  (AWP),  which  defines  the  areas  of  activities  for  each 
year (either operational or administrative) 

the  Project  Management  module  (PM),  which  allows  for  the  follow-up  of  management  and 
implementation  of  the  projects  and  is  linked  to  the  AWP  and  ABAC,  the  Agency’s  financial 
management system 

the  Budget  Module,  which  is  linked  to  the  PM  and  retrieves  the  financial  information.  It  is 
used to plan for commitments and payments, and it estimates the total budget by calculating 
the costs for the salaries based on the staff information provided in the system and summing 
up other fixed and variable costs 

the Activity Based Budgeting module (ABB), which is linked with the PM in order to record the 
time  worked  on  operational  activities  and  with  AWP  to  record  the  time  spent  on  horizontal 
and administrative activities 

the Tenders and Contracts Maker (TCM), which is linked to the PM and provides a structured 
way  to  prepare  the  documentation  necessary  to launch  a  procurement  procedure  as  well  as 
the contracting documentation. 
 
MATRIX is under continuous development. The basic feature of MATRIX is to enable follow up of 
projects, tasks and the human resources allocated to them, milestones and budget execution, as 
well  as  procurement  management.  Current  development  plans  include  strengthening  the 
performance related reporting, in terms of linking activities to specific objectives and ensure that 
milestones are reported and key performance indicators collected.  
 
While MATRIX provides a good possibility for management reporting, it is considered by the staff 
to be less useful for project management purposes. This has led to some resistance towards the 
 

 
 
12
 
 
 
 
 
 
system, and during interviews several staff reported that the system was seen more as a burden 
than a support. Hence, the system is not being fully utilised, and updates etc are not always done 
in  a  timely  manner.  With  the  current  changes  being  implemented,  it  is  hoped  that  the  value  of 
the system will be clearer to staff and project managers, as it is a core tool for ensuring the most 
efficient allocation of funds and deployment of human resources.  
 
In  addition,  the  Agency  has  developed  systems  for  reimbursement  claims/mission  expenses 
(MIMA)  as  well  as  leave  management  (LEAMA).  Since  March  2011,  the  Agency  has  started 
implementing a paperless approach, amongst others CVs are no longer printed when recruiting, 
but read on tablets bought specifically for this purpose. The intention is to reduce costs as well as 
waste  of  resources.  This  reduced  the  time  needed  for  the  selection  procedure,  the  related 
printing  costs  and  freed  up  human  resources.  According  to  the  Agency's  calculations,  500,000 
sheets of paper have been saved to date with the new approach. 
 
The  financial  management  system  used  is  ABAC.  A  monthly  Finance,  Procurement  and 
Accounting Report is produced, to follow-up on the operations.  
 
All  financial  actors  are  required  to  attend  an  in-house  training  on  financial  and  procurement 
procedures on  a  regular basis.  The  induction  training  for  new  staff  members and  trainees takes 
place twice a year to ensure a high level of shared skills and knowledge.  
 
The Agency has furthermore implemented a Quality Management System taking into account the 
Internal  Control  standards  adopted  by the  Management  Board  in  accordance with  the  Article  38 
of  the  Agency’s  Financial  Regulation  and  complementing  them  on  specific  quality  issues  with 
additional requirements from recognised international standards (ISO 9001:2008).  
 
The  QMS  involves  amongst  others  the  documentation  of  the  processes  to  ensure  appropriate 
identification  of  roles  and  responsibilities,  proper  competence,  control  and  traceability.  All 
processes are now documented and made easily accessible through the intranet of the Agency.  
 
The  QMS  has  been  integrated  with  the  management  of the  Agency’s  business  risks  through  the 
creation of a risk register as well as business continuity plans, which enable the management to 
track anomalies and risks on a monthly basis. The QMS system is reviewed at planned intervals 
by  the  Management  team  to  ensure  its  continued  suitability,  adequacy  and  effectiveness 
(management  review  process).  The  below  figure  illustrates  the  QMS  cycle,  as  defined  for  the 
Agency. 
 
 


 
 
13
 
 
 
 
 
 
Figure 2: The FRA's QMS system36 
Agency planning
Process 
Quality objectives
implementation
Risk management
QMS documentation
Business continuity
Records
Plan
Do 
Stakeholder 
requirements

FRA Mission 
INPUTS
FRA processes
OUTPUTS
Basic regulation
implementation
Reference  Standards
Act 
Check
Corrective and 
External audits
preventive actions 
Stakeholder feedback 
follow up
analysis
Management review
Exceptions 
Improvement projects
Performance 
measurement
Continual improvement
 
 
The  QMS  system  uses  checks  and  balances,  primarily  from  audits  (Internal  Audit  Service  and 
Court  of  Auditors)  but  also  annual  self-assessments,  which  are  presented  to  Management, 
following up on QMS implementation as well as audit recommendations. 
 
The QMS system is considered to be comprehensive and well-suited to the needs of the Agency. 
While  the  QMS  is  operational,  there  will  be  a  need  to  focus  on  implementation  and  compliance 
with the system, as it is still not thoroughly integrated in the day-to-day operations of the staff. 
 
2.4.5  Planning, monitoring and evaluation 
Planning,  monitoring  and  evaluation  fall  under  the  responsibility  of  the  Human  Resources  and 
Planning  Department  (HRP).  The  planning  and  monitoring  function  has  been  strengthened 
relatively recently, with the recruitment of a planning manager in mid-2010. Since recruitment to 
the  planning  function,  the  complete  planning  process  has  been  defined  and  documented, 
outlining roles and responsibilities, deadlines etc.37  
 
The  function  of  planning  and  monitoring  was  previously  carried  out  by  the  finance  team  within 
Administration. In the transition from EUMC to FRA, the Annual Work Programme was developed 
and  a  new  Annual  Work  Programme  (AWP)  was  introduced  and  finalised  in  June  2008.  In 
December  2008,  the  Agency  adopted  the  AWP  for  2009,  and  was  thus  "on  track"  with  the 
planning cycle.  
 
In  2009  the  Agency  introduced  the  use  of  priorities  in  order  to  allow  the  Agency  to  effectively 
manage  ad-hoc  requests  from  its  key  stakeholders  as  well  as  to  exploit  the  risk  of  cancelling 
budgetary surpluses. Therefore, ‘first priority’ projects were defined as those that mainly follow-
up on past work, correspond to key EU priorities and are considered essential to complete work 
in a specific MAF area. Projects which, although essential, could be postponed to next year were 
marked as ‘second priority’. This allows the Agency to ‘trade’ second priority projects with ad-hoc 
requests.  Finally,  the  ‘third  priority’  projects  are  those  that  could  be  implemented  in  case 
budgetary  surpluses  are  found.  This  allows  the  Agency  to  increase  its  effectiveness  and  added 
value to the Union. 
 
The  concept  of  the  three  priorities  was  praised  by  the  IAS,  in  its  report  of  03/11/2009  on 
Financial  Management  in  FRA,  as  it  “enables  a  transparent  reallocation  of  resources  if  requests 
for unforeseen activities need to be accommodated”. 
                                                
36 From a presentation developed by the FRA's quality team. 
37 Preparation and adoption of the FRA Annual Work Programme, FRA Internal working document. 
 

 
 
14
 
 
 
 
 
 
 
Since  2010  the  FRA  is  operating  with  an  N-2  budget  and  work  plan  cycle,  meaning  that  the 
resources  and  the  activities  of  the  Agency  are  planned  two  years  ahead.  A  systematic 
consultation  process  has  been  put  into  place  for  the  elaboration  of  Annual  Work  Plans.  The 
process  starts  with  a  needs  assessment  where  key  stakeholders38  are  asked  to provide  the  FRA 
with an indication of those fundamental rights issues, which they think are important for the FRA 
to  address  in  the  future  Annual  Work  Programme  (AWP).  The  needs  assessment  is  carried  out 
through  an  online  survey  at  the  beginning  of  the  year  (N-2).  Based  on  the  needs  assessment 
(and  multi-annual  ongoing  projects)  a  draft  AWP  is  elaborated,  and  in  a  second  step, 
consultations  with  key  stakeholders  are  conducted.  Once  the  draft  AWP  is  finalised,  formal 
opinions are requested from the European Commission, the Council of Europe and the Scientific 
Committee,  after  which  the  final  draft  version  is  submitted  to  the  MB  for  discussion  and 
ultimately approval.  
 
The  move  towards  an  N-2  planning  was  done  in  order  to  achieve  a  longer  term  strategic 
perspective in the FRA projects, with activities spanning over several years. Another aim was to 
solve  difficulties  in  planning  the  budget  disbursement,  where  the  Agency  did  not  manage  to 
undertake planned procurements and subsequent spending in time, leading to a high expenditure 
rate in the final quarter of the year as well as substantial carryovers to following year. With the 
N-2  planning  procedure  more  long  term  planning  for  operational  expenditures  is  feasible,  and 
with  this  the  budget  execution  is  spread  more  evenly  throughout  the  year.  According  to 
interviews  with  the  Administration  department,  in  2011,  a  total  of  72%  of  the  budget  was 
committed by end October, which is a considerable improvement from previous years. This was 
increased to 84% in August 2012. 
 
A considerable part of the projects included in the AWPs are carried over from multi-year projects 
with activities planned for several years.39 The Agency has recently also started to receive more 
requests for work to be undertaken both from the Commission and the Parliament on pertinent or 
arising  issues  (for  example  on  the  Roma,  on  data  protection,  and  on  matrimonial  property 
regimes).  It  is  a  challenge  for  the  Agency  to  meet  these  requests,  as  the  planning  cycle  and 
resource allocation leave little room for ad hoc additional activities. In an attempt to meet these 
demands, the Agency has developed a system of prioritisation of projects, and is now exploring 
the  possibility  of  developing  Multi-Annual  Work  Programmes  with  Annual  Implementation  Plans, 
which could allow for greater flexibility and the possibility to prioritise ad hoc requests from key 
stakeholders.  
 
To  date  there  has  been  little  structured  monitoring  activity  of  the  FRA's  outcomes  and  impact. 
The  ongoing  monitoring  has  mainly  focused  on  activities  and  outputs,  through  information 
available  in  MATRIX  on  key  milestones,  commitments and  disbursement.  The  AWPs  and  project 
fiches entailed "performance indicators", but these were of output nature (number of downloads, 
reports  published  etc.)  and  have  not  been  systematically  reported  on  in  the  following  Activity 
Reports (in AR 2010 indicators are reported upon, but the quality is assessed low, with indicators 
changed, targets not stated etc.) 
 
Different  monitoring  systems  are  in  place,  such  as  event  evaluations  and  reporting  on  internet 
usage  and  visits  to  the  FRA  webpage.  The  Agency  also  has  a  reference  database,  managed  by 
the CAR department, which includes references made to the FRA's work through various sources. 
However, for the moment the data collection is not carried out systematically and the database is 
updated ad hoc and thus cannot be considered to provide a comprehensive or exhaustive picture 
of the FRA's outreach. It is the evaluators’ opinion that there is a wealth of evaluative information 
available.  However,  so  far  the  information  has  not  been  consolidated  or  aggregated  in  a  way 
which enables an overall analysis of the Agency's performance. 
 
To  address  this  issue,  work  is  currently  ongoing  to  implement  a  Performance  Measurement 
Framework  (PMF)  to  provide  the  management  and  stakeholders  with  information  on  the  FRA’s 
performance towards key performance indicators. The intention is to implement a system which 
                                                
38 As defined in Founding Regulation. 
39 According to interviews app. 50% of the operational budget is committed to multiannual projects. 
 

 
 
15
 
 
 
 
 
 
measures  performance  on  outcome  and  impact  level,  with  one  interim  (internal)  and  one  final 
performance  report  per  year  (public).  The  PMF  is  structured  based  on  the  Multi  Annual 
Framework, thus providing a picture of the FRA's outputs, outcomes and impact per MAF area, on 
a bi-annual basis.  
 
To  implement  the  PMF,  a  framework  contract  has  been  concluded  with  service  providers  to 
provide support in the design and implementation of the monitoring and evaluation activities. The 
first pilot report is expected for Q1 2013. 
 
An  audit  of  the  planning  and  monitoring  systems  was  conducted  in  2010/2011  by  the  Internal 
Audit Service of the European Commission. The audit found the system in place to be adequate 
and  acceptable,  while  suggesting  a  number  of  improvements.  In  the  audit  the  Performance 
Measurement Framework was mentioned to be under implementation and ready for piloting. The 
evaluators  have  observed  that  this  is  now  under  way.  The  recommendations  for  the  increased 
use of the MATRIX system by staff and line management still appear relevant, with reference to 
the interviews conducted with FRA staff and project managers.  
 
 
 
 

 
 
16
 
 
 
 
 
 
2.5 
Activities of the FRA 
The following section provides an overview of the FRA's main operational activities and tasks, as 
presented in Annual Work Programmes, Activity Reports, and by the FRA's staff and management 
during  interviews.  As  mentioned  in  the  previous  section,  the  Agency's  work  is  undertaken  in 
projects, most of them multiannual and planned in advance, as per the N-2 planning cycle. The 
overview  of  projects  per Multi-Annual  Framework  (MAF)  area  can  be  seen  below,  specifying  the 
number and total budget in €.40 
Table 4: Allocated budget by MAF Area 2009-2012 
MAF area 
2009 
2010 
2011 
2012 
Total € 
 
Nr 
Budget 
Nr 
Budget 
Nr 
Budget 
Nr 
Budget 
 
Access to efficient and 

245,000 

895,000 

1,815,300 

2,250,000 
5,205,300 
independent justice 
Asylum, immigration 

695,000 

930,000 

100,000 

240,000 
1,965,000 
and integration 
Compensation of 









victims41; 
Equality and 
11 
1,124,200 

1,825,000 

904,335 

1,822,000 
5,675,535 
Discrimination 
Information society and 
 
 

20,000 

300,000 

465,000 
785,000 
data protection 
Participation of the EU 

275,000 
 
 
 
 
 
 
275,000 
citizens in the Union's 
democratic functioning; 
Racism, xenophobia 

590,000 

800,000 

1,150,000 

75,000 
2,615,000 
and related 
intolerance; 
The rights of the child, 

70,000 

165,000 

5,000 

430,000 
670,000 
including the protection 
of children; 
Visa and border 
 
 



510,000 

205,000 
715,000 
control;  
Operational Horizontal 

1,751,800 
15 
1,795,392 

1,940,685 
10 
1,728,000 
7,215,877 
Activities 
 
In the above table the spending on MAF activities is shown for the financial years as from 2009 
onwards.  Prior  to  2009 the  Agency’s  budget  and  Annual  Work  Programme  were  based  on  tasks 
(i.e. research, communication, translation, etc.) and the extrapolation of the funds allocated per 
MAF  area  is  therefore  not  possible.  As  from  2009  the  Agency  implemented  the  Activity  Based 
Budgeting (ABB) where the allocation of funds is presented per MAF area.  
 
The overview shows that the MAF areas taking up the highest level of operational resources have 
been,  in  descending  order;  Equality  and  Discrimination;  Access  to  Justice;  Asylum;  Racism, 
Xenophobia and Related Intolerance; Immigration and Integration. One project has been carried 
out  in  the  field  of  Participation  of  the  EU  citizens  in  the  Union's  democratic  functioning.  In  total 
since  the  inception  of  the  Agency,  the  following  number  and  types  of  publications  have  been 
produced (for a complete list of publications see annex).  
 
 
                                                
40 All figures are taken from the Annual Work Programmes 2009-2012, and are likely to include carryovers, i.e. the same 
funds for the same project may be included more than once.  
41 The MAF area of Compensation to Victims has been addressed in the context of other projects that have variously looked 
at access to justice and victim-related issues. However, this thematic area has not resulted in a project under the specific 
theme of compensation to victims. 
 

 
 
17
 
 
 
 
 
 
 
Table 5: Summary of publications by the FRA (only first six months of 2012) 
 
Reports 
Factsheets 
Opinion 
Working 
Magazines 
Others 
Papers 
Papers 
2007 






2008 






2009 
12 





2010 
12 





2011 
14 





H1 2012 






Total 
53 
24 
11 



 
In addition to specific projects within the individual MAF areas, the FRA also carries out so-called 
horizontal activities covering all MAF areas. These include the FRA's "Flagship Events" namely the 
yearly  Fundamental  Rights  Conference  (FRC),  the  Annual  Symposium  and  Fundamental  Rights 
Platform  meeting  (FRP),  as  well  as  the  Annual  Report  on  Fundamental  Rights  in  the  EU.  The 
Symposium  and  FRC  are  generally  held  in  cooperation  with  the  Member  State  holding  the  EU 
presidency,  and  employ  a  thematic  focus  which  is  linked  to  research  conducted  by  the  Agency.  
As  an  example,  in  2011  the  focus  of  the  FRC  in  Warsaw  was  on  the  situation  of  irregular 
migrants,  in  conjunction  with  the  finalisation  and  publication  of  results  of  the  FRA's  research  in 
the  area  (see  also  case  study  on  Fundamental  rights  of  migrants  in  an  irregular  situation).  An 
aggregation  of  events  conducted  since  2007  gives  the  following  picture  (the  table  does  not 
include consultation or expert meetings within projects). 
Table 6: Number of events conducted by the FRA (only first six months of 2012) 
  
Meetings 
Conferences 
Events 
2007 



2008 
12 


2009 
19 


2010 
24 


2011 
28 


H1 2012 
11 


Total 
102 
33 
23 
 
 
2.5.1  Providing evidence-based advice 
One of the FRA’s key responsibilities is to deliver policy advice founded on sound research-based 
evidence.  According  to  the  Founding  Regulation,  the  Agency  shall  support  the  relevant 
institutions,  bodies,  offices  and  agencies  of  the  EU  and  the  Member  States  by  providing  them 
with  assistance  and  expertise  relating  to  fundamental  rights.42  Since  2007,  the  Agency  has 
experienced  an  increase  in  the  requests  for  advice  and  opinions  on  a  broader  spectrum  of 
thematic  issues  related  to  fundamental  rights.  As  an  example  the  Parliament  and  the  Council 
Presidency have asked the Agency to deliver opinions on rights-based issues which  was  not the 
case a few years ago. The Agency is able to deliver input to the Commission, the Parliament and 
Council,  upon  request  as  per  the  Founding  Regulation43.  The  advice,  information  and  suggested 
solutions  from  the  Agency  can  then  feed  into  concrete  initiatives  and  action  plans  from  the 
Commission which are intended to affect the Member States’ policies on fundamental rights. 
 
As an example of the above, the work on Roma is a cornerstone in the FRA’s research activities 
and  the  Agency’s  work  on  the  fundamental  rights  of  Roma  and  information  about  gaps  in  the 
implementation of legal rights have been used by the Commission and the Members States in the 
formulation  of  national  strategies  for  Roma.  Similar  examples  can  be  taken  from  the  area  of 
irregular migrants, people with disabilities, and passengers’ rights in relation to data protection. 
                                                
42 Regulation 168/2007, Art. 2. 
43 Ibid, Art 4 (c). 
 

 
 
18
 
 
 
 
 
 
The  Agency  is  also  providing  more  ad  hoc  legal  analysis  based  on  jurisprudence  that  can  feed 
into more immediate requests from policy makers.  
 
According  to  interviews  with  the  staff,  the  Agency  is  putting  an  increasing  focus  on  the  advice 
side  of  its  mandate,  by  targeting  its  production  and  activities  on  specific  themes  and  target 
groups. As an example can be mentioned the "Data in Focus Reports" which lift pertinent specific 
fundamental rights issues in short and to the point publications. FRA handbooks for practitioners 
are another such example. They have been produced by the FRA in different areas (e.g. on anti-
discrimination  case  law  or  ethnic  profiling).  The  rationale  is  to  use  the  wealth  of  information, 
which the FRA gathers in a more strategic manner, in order to enable follow-up and increase the 
likelihood  of  real  policy  impact.  Another  prominent  feature  of  the  push  towards  greater  policy 
relevance  is  an  increased  dialogue  with  stakeholders  throughout  the  projects,  in  order  to  both 
sensitise and ensure that findings are policy relevant. The interviews showed, however, that it is 
difficult for the stakeholders to assess what input they will need from the FRA in the long-run. In 
order to solve this issue, the FRA is currently in the process of developing a possibility to consult 
the key stakeholders annually on their short-term needs from the FRA. 
 
2.5.2  Collecting and analysing data 
A  concrete  way  of  getting  the  evidence-base  for  providing  advice  to  its  stakeholders  is  by 
collecting and analysing relevant, objective, reliable and comparable information and data.44 The 
Agency  undertakes  this  in  a  variety of  ways  – including  research on  existing material  and  data, 
the  production  of  legal  opinions,  and  fieldwork-based  research.  The  collection  of  data  on  the 
situation on the ground with respect to fundamental rights is an approach that the Agency uses 
in most of its projects – this can range from large-scale quantitative survey research with tens of 
thousands  of  randomly  sampled  respondents  (such  as  the  Agency’s  EU-MIDIS  survey  or  its 
Violence  against  Women  survey),  to  in-depth  focus  groups  and  individual  interviews.  Fieldwork 
also  involves  interviews  with  ‘duty  bearers’  who  are  responsible  for  fundamental  rights 
compliance at various levels. Given that the Agency is often working in areas where there is no or 
very  little  comparable  data  at  the  EU  and  Member  State  level,  the  Agency’s  primary  data 
collection  is  undertaken  in  order  to  fill  a  gap  in  the  existing  knowledge-base  that  can  serve  to 
inform key stakeholders with respect to the findings.  
 
The  Agency  is  putting  considerable  effort  into  ensuring  the  scientific  quality  of  its  research  and 
corresponding data. In general it is perceived by staff that the FRA has a high level of credibility 
and  -  unlike  national  research  institutions  -  the  FRA  is  able  to  launch  primary  data  collection 
activities across the 27 Member States. The FRA can either directly engage in the data collection 
or engage a partner organisation to collect the data. In these cases the FRA will conduct the data 
analysis.  In  both  instances  the  Agency  will  dedicate  internal  resources  to  the  development  of 
research  methodologies  and  research  tools  (such  as  questionnaires  for  large-scale  surveys,  or 
qualitative research components). In particular, the Agency pays close attention to checking the 
validity and reliability of the data it collects. This also includes the monitoring of fieldwork, which 
can  involve  ‘shadowing’  interviews,  the  FRA’s  presence  at  the  training of  fieldwork  interviewers, 
and  FRA  staff  observing  fieldwork.  Given  that  many  staff  in  the  Agency’s  two  research 
departments have a strong research background, they are well placed to assess the quality of the 
work  undertaken.  Internally,  the  research  departments  have  also  established  a  social  scientist 
qualitative  research  group  that  regularly  meets  to  discuss  and  harmonise  ways  in  which  the 
Agency’s  non-quantitative  fieldwork  can  be  further  enhanced  and  improved.  The  Agency  has  a 
dedicated  statistics  and  surveys  team  that  is  responsible  for the  development and  management 
of the Agency’s large-scale quantitative data collection, as well as the Agency’s work in the field 
of data analysis on existing data sets and the development of the Agency’s work with respect to 
fundamental rights indicators. 
 
As  part  of  the  quality  control  oversight,  the  Agency’s  Director  and  all  Heads  of  Department 
undertake  a  review  of  proposed  projects  (the  so-called  ‘FRAPPE’  project  review),  which  is 
repeated when a project is operational. All final reports are reviewed by an internal committee in 
the  Agency  (the  so-called  ‘FRACO’  committee),  which  consists  of  the  Director  and  the  Heads  of 
Freedoms  and  Justice,  Equality  and  Citizens’  Rights  and  the  Communication  and  Awareness 
                                                
44 Regulation 168/2007, Art. 2 (b). 
 

 
 
19
 
 
 
 
 
 
Raising  Department  –  together  with  two  senior  researchers  and  the  team  leader  for  production 
and editing. Reports often go through several FRACO readings and internal re-drafts before they 
are  considered  ready  for  publication.  This  work  is  underpinned  by  the  Agency’s  Scientific 
Committee – which assigns rapporteurs to follow and comment on specific projects (see section 
3.1.7 for more detail on the above). 
 
All  reports  are  produced  by  the  Agency  itself  and  in  the  FRA's  name,  without  disclaimer.  The 
ability to provide pan-European data and comparative analysis, based on this data, was assessed 
by  the  FRA  staff  and  some  of  the  interviewed  stakeholders  as  one  of  the  main  strengths  of  the 
Agency. It was for example mentioned that while some Member States have individually had the 
relevant  data  available,  the  FRA  has  been  able  to  ensure  data  availability  throughout  the  27 
Member States and thus facilitate comparative studies and development of best practices. 
 
According  to  interviews  with  the  FRA  staff,  the  Agency  sometimes  receives  questions  from  its 
stakeholders  concerning  its  research  methodologies and  findings.  A  number  of  the  projects that 
the FRA is implementing are addressing controversial issues for the Members States, Civil Society 
Organisations  (CSO)  and  other  stakeholders.  In  order  to  handle  potential  criticism  the  Agency 
institutes a thorough internal process where the methodology is discussed and established prior 
to  the  data  collection.  This  is  supported  by  meetings  at  the  FRA  with  external  experts  from 
specific fields who have undertaken cross-national research in areas covered by the FRA’s work. 
Further, the Agency is adopting a highly transparent approach in terms of who has been involved 
in the data collection and analysis and how it has been carried out so that the stakeholders can 
see  the  principles  underlying  the  research.  To  the  extent  possible  the  Agency  is  also  arranging 
sensitisation events at an early project stage where the research and the methodologies used are 
presented  to  enable  various  and  also  opposing  stakeholders  to  contribute to  the  process.  These 
events take considerable time and resources but according to interviews with the FRA staff they 
constitute a positive step for the projects in the longer-term.  
 
2.5.3  Cooperating with stakeholders 
The FRA has an extensive mandate in terms of stakeholders to cooperate with45: 
•  EU bodies, offices and agencies 
•  Member States via National Liaison Officers 
•  governmental  organisations  and  public  bodies  competent  in  the  field  of  fundamental 
rights 
•  the Organisation for Security and Cooperation in Europe (OSCE), especially the Office for 
Democratic  Institutions  and  Human  Rights  (ODIHR),  the  United  Nations  and  other 
international organisations 
•  The Council of Europe 
•  non-governmental  organisations  and  institutions  of  civil  society,  via  its  Fundamental 
Rights Platform (FRP) 
 
The FRA interacts with its stakeholders in two main ways: on the one hand “vertically”, through 
regular consultation and cooperation activities of its different thematic projects, and on the other 
hand  on  a  more  systematic  and  “horizontal”  basis  through  the  coordination  of  networks  of 
stakeholders (Fundamental Rights Platform, National Liaison Officers) and cooperation with other 
existing networks and its members (National Human Rights Institutions, Equality Bodies, Ombuds 
institutions).  Furthermore,  it  works  through  structured  cooperation  with  the  Council  of  Europe, 
with UN organisations and other EU bodies and Agencies such as EESC (European Economic and 
Social Committee), CoR (Committee of the regions) and EU Agencies working in related fields. 
 
The  different  ways  of  interaction  include  for  example  the  aforementioned  needs  assessment  for 
the  AWP,  but  also  more  targeted  communication  and  cooperation  in  relation  to  specific  projects 
and topics.  
 
As mentioned previously, horizontal stakeholder consultation was merged into the department for 
Communication  and  Awareness  Raising  in  2011,  in  order  to  strengthen  stakeholder  cooperation 
and  communication.  The  CAR  department  has  appointed  liaison  persons  dedicated  to  the  FRA’s 
most important stakeholders such as the European Parliament (EP), the Council and the National 
                                                
45 Article 7-10, Founding Regulation 
 

 
 
20
 
 
 
 
 
 
Liaison officers (NLOs) appointed by the EU Member States, and a focal point for the cooperation 
with  National  Human  Rights  Institutions,  Equality  Bodies  and  Ombudsmen  institutions,  and  with 
the  civil  society  organisations  under  the  umbrella of  the  FRP  (Fundamental  Rights  Platform).  In 
addition,  in  the  Freedoms  and  Justice  Department,  a  person  acts  as  a  dedicated  liaison  contact 
for the Council of Europe (CoE), and another is responsible for inter-agency cooperation and work 
in the Justice and Home Affairs cluster of agencies. Due to the frequency of contacts, there is not 
one  single  liaison  contact  for  the  European  Commission  (COM),  but  the  various  thematic  team 
coordinators  and  project  managers  maintain  regular  contacts  with  the  relevant  desk  officers  at 
the Commission. The liaison with UN bodies and OSCE lies with the Directorate.  
 
A  Stakeholder  Review  was  conducted in  2011,  with all the  FRA's  key  stakeholders  as  defined  in 
the Founding Regulation. The review showed that overall the stakeholders are satisfied with the 
FRA's events, publications and overall cooperation with stakeholders. However, stakeholders also 
expressed a need to further increase the cooperation in particular with CSOs at the national level, 
as well as a stronger presence in the policy process at the EU level46. According to the FRA staff, 
the results of the stakeholder review gave a push for the Agency to develop further the advisory 
role towards its stakeholders. In part as a response to the Stakeholder Review, but also as a part 
of  the overall  development  of the  Agency's  work  processes,  an  increased  emphasis  is  being put 
on  the  consultation  with  stakeholders  from  the  outset  of  projects,  with  the  aim  to  provide 
targeted  and  relevant  evidence-based  advice.  In  the  effort  to  integrate  awareness  and 
communication activities in all projects, CAR staff is involved in all projects from the outset.  
 
The  Fundamental  Rights  Platform  (FRP)  is  the  Agency’s  main  forum  for  cooperation  with  civil 
society organisations. It is composed of 350 non-governmental organisations dealing with human 
rights, trade unions and employer's organisations, relevant social and professional organisations, 
churches,  religious,  philosophical  and  non-confessional  organisations,  universities  and  other 
qualified experts of European and international bodies and organisations. 
 
In  2012  the  annual  FRP  event  gathered  approximately  230  participants.  The  main  objectives 
were  to  encourage  a  European  debate  on  fundamental  rights,  to  exchange  good  practices  and 
share  experiences  from  the  FRA’s  and  the  CSO’s  work,  and  to  further  strengthen  the 
opportunities for collaboration and networking. The event consisted of a mixture of presentations 
and panel debates on various topics such as victims' rights, access to justice, and discrimination. 
Further,  considerable  time  was  allocated to  enable the  CSO’s  and  the  FRA  to  inform  each  other 
about their work and selected projects.  
 
2.5.4  Communication and raising awareness 
The Agency’s communication task has three main components47: 
1)  communicating and disseminating the Agency’s assistance and expertise 
2)  awareness raising 
3)  dissemination of information about FRA work 
 
Overall,  the  communication  activities  are  guided  by  a  communication  strategy  (the 
Communication  Framework)  which  is  perceived  as  a  flexible,  living  document.  An  annual 
communication  plan  sets  the  more  specific  goals  for  the  communication  and  awareness-raising 
activities each year. According to interviews with the FRA staff, a lot of the standardised material 
is perceived to be in place in terms of booklets, website and social media, electronic newsletters, 
a  postcards  and  other  promotional  material.  Workflows  and  consolidated  dissemination  lists  are 
also  in  place.  The  staff  were  largely  of  the  opinion  that  the  activities  are  now  moving  into  a 
consolidation phase. 
 
During  the  interviews  with  the  staff  it  was  also  highlighted  that  the  FRA's  awareness-raising 
activities are targeted at addressing selected stakeholders (such as police officers, teachers, local 
authorities  etc.)  and  not  general  awareness-raising  campaigns,  since  the  financial  as  well  as 
human resources are limited for this type of activity and the impact of general awareness-raising 
is assessed to be limited. Rather, FRA communication is intended to work in a way that provides 
                                                
46 FRA Stakeholder Review, Prospex bvba/Ecre 2011, Report for the European Agency for Fundamental Rights. 
47 Article 2 and 4, Founding Regulation. 
 

 
 
21
 
 
 
 
 
 
data, information and templates to key partners so that they can make use of FRA work in their 
own awareness raising campaigns and efforts. 
 
One  of  the  recent  initiatives  to  improve  the  communication  process  is  the  establishment  of  a 
contact database. The database is still in its pilot phase. 
 
A  media  policy  is  in  place  ensuring  that  responses  to  the  press  have  been  coordinated  and 
discussed within the Agency before giving a response.  
  
 
 
 
 

 
 
22
 
 
 
 
 
 
3.  EVALUATION FINDINGS 
In  this  chapter,  the  evaluation  findings  for  each  of  the  evaluation  questions  as  specified  in  the 
Terms of Reference are presented. The findings are based on all data collection activities carried 
out  during  the  course  of  the  evaluation  and  examine  the  effectiveness,  efficiency,  utility,  added 
value as well as coordination and coherence of the FRA's work. 
 
3.1 
Effectiveness: To what extent has the FRA been successful in achieving its objective 
and carried out the tasks established by the Founding Regulation?  
 
3.1.1  To  what  extent  is  the  FRA  issuing  timely  and  adequate  assistance  and  expertise  relating  to 
fundamental rights to the relevant institutions, bodies, offices and agencies of the Union and its 
Member States? 
 
The  evaluation  question  has  been  assessed  by  collecting  stakeholder  opinions  in  the  survey, 
interviews  as  well  as  the  case  studies.  For  the  survey  a  "judgement  threshold"  was  set  at  70% 
positive  answers.  Furthermore  the  assessment  takes  into  account  the  outputs  produced  by  the 
FRA, as presented earlier in section 2.5. 
 
In the external survey, almost all respondents (97.5%) had experience with reading the FRA's 
publications  and  were  therefore  well  capable  of  assessing  the  relevance,  timeliness,  availability 
etc. of the publications. 
Figure 3: Have you ever read any of the FRA's publications? N=316 
Yes, several times n=237 
75,0%
Yes, once or twice n=71
22,5%
No n=8
2,5%
0%
10%
20%
30%
40%
50%
60%
70%
80%
 
 
78%  of  the  respondents  either  strongly  agreed  or  agreed  with  the  statement  that  "the  FRA 
publications  deliver  timely  data  and  information  on  pertinent  fundamental  rights  issues  in  the 
EU".  Only  a  handful  of  respondents  (4%)  either  disagreed  or  strongly  disagreed  with  this 
statement. 
 
 

 
 
23
 
 
 
 
 
 
Figure  4:  The  FRA  publications  deliver  timely  data  and  information  on  pertinent  fundamental  rights 
issues in the EU N=304 

Strongly agree n=51
17,1%
Agree n=185
60,9%
Neither agree or disagree n=45
14,8%
Disagree n=10
3,3%
Strongly disagree n=2
0,7%
Do not know/cannot assess n=10
3,3%
0%
10% 20% 30% 40% 50% 60% 70%
 
 
The  respondents  were  also  positive  concerning  the  availability  of  the  FRA's  research  results, 
which is shown by the fact that 72.4% of the respondents either strongly agreed or agreed with 
the statement that "the FRA's research results are readily available to all relevant stakeholders". 
This  means  that  the  judgement  threshold  of  70%  positive  answers  was  met  for  both  relevant 
survey questions. 
Figure 5: The FRA's research results are readily available to all relevant stakeholders N=304 
Strongly agree n=46
15,1%
Agree n=173
56,9%
Neither agree or disagree n=51
16,8%
Disagree n=17
5,6%
Strongly disagree n=1
0,3%
Do not know/cannot assess n=16
5,3%
0%
10%
20%
30%
40%
50%
60%
 
 
The  interviews  confirmed  the  findings  from  the  external  survey,  with  in  particular 
representatives of the European Commission and the European Parliament expressing satisfaction 
with the advice and expertise provided by the FRA. From a European perspective, the expertise 
and research provided by the FRA were considered vital for the development of policies at the EU 
level, as illustrated by the quote below from a Commission official. 
 
 
 

 
 
24
 
 
 
 
 
 
 
"I  think  that  the  reports  of  the  FRA  are  used  by  the  EU  institutions,  the  Commission,  the 
Parliament and the Council. It is not possible to state specific themes, but rather specific types of 
reports that are particularly relevant. These are the reports that provide comparative and reliable 
data covering all the Member States. These types of reports are very much appreciated by the EU 
institutions. These types of reports compare the factual situation in different Member States and 
support policy-making on the EU level." 

 
The  cooperation  seems  to  be  working  well,  and  the  open,  informal  and  direct  contacts  between 
staff  in  the  different  institutions  were  specifically  mentioned  as  an  advantage  in  several 
interviews. In general policy officers working in specific fields know and are in direct contact with 
the relevant FRA programme managers.  
 
"In the informal coordination process Commission employees take direct contact to relevant FRA 
desk officers. The rule of common sense applies in this cooperation. The formal level is not very 
efficient,  and  thus  one  should  definitely  not  try  to  strengthen  this.  It  is  not  worthwhile  to 
strengthen  a  cooperation  procedure  that is  not  working  efficiently.  The  informal  processes  work 
very well, and they are sufficient for my needs."  

 
As in the external survey, interviews with Member State representatives revealed a more mixed 
picture,  with  National  Liaison  Officers  expressing  less  interaction  with  the  FRA.  To  some  extent 
this can probably be ascribed to the fact that NLOs often are generalists, and thus have more of 
a channelling function, coordinating the inputs and contacts between the FRA and Member State 
civil servants. NLOs interviewed also expressed that the role of NLOs had changed and developed 
over  the  years,  and  that  the  FRA  is  now  more  actively  working  to  engage  with  the  Member 
States. Still, as the quote below from an NLO illustrates, the cooperation and assistance need to 
be further developed. 
 
"They  are  putting  more  efforts  now  into  trying  to  assist  us  (Member  States).  It  could  be  more 
useful for the Member States to know all the rules for what kind of assistance they could provide 
us.  Until  now  this  has  not  been  very  concrete  (what  kind  of  assistance  they  are  able  to  give  us 
and we could ask for). We still don't know more concretely what the FRA budget for this is, what 
assistance they have given to other Member States or institutions etc." 

 
Another interesting quote from an NLO interview points to the challenges the FRA faces in trying 
to live up to the mandate. 
 
"They are doing relatively well. There is a general problem – not of the Agency, but of the current 
status of the Agency, they are in a special situation in an institutional environment within the EU. 
They  have  to  strike  the  right  balance  between  supporting  EU  institutions,  national  governments 
and  NGOs.  This  is  a  delicate  situation  and  this  is  perhaps  why  one  might  have  the  impression 
that they are not really suited for their tasks. From the point of view of the national government 
they  look  more  suited  to EU  and  civil  society,  from the  point  of  view  of  the  CSO  they  are  more 
suited  to  work  with  the  governments  –  they  are  in  the  middle  of  the  battle  field.  They  have  to 
balance between different kinds of interests. Under these circumstances they do a relatively good 
job." 

 
The case studies mirrored to a very high extent the earlier findings, and also illustrated further 
the  "gap"  which  seems  to  exist  between  MS  and  EU  level  policy  development.  In  all  the  cases, 
the comparative research conducted was seen as more useful at the EU level than at the national 
level.  The  main  reasons  stated  were  the  specificity  of  the  national  contexts,  and  the  need  for 
more  specific  information  on  root  causes  and  mechanisms  to  enable  development  of  effective 
policies on the ground.  
 
 
 

 
 
25
 
 
 
 
 
 
 
Overall, the evaluation findings point towards a clearly favourable assessment in terms 
of  the  timeliness  and  adequacy  of  the  FRA's  assistance  and  expertise  relating  to 
fundamental rights. While the findings are very strong among the EU level institutions, 
the  picture  is  somewhat  more  mixed  at  the  national  level.  It  is  clear  that  the  relation 
goes  two  ways,  and  while  the  FRA  needs  to  work  on  ways  to  be  more  relevant  for 
Member  States,  the  demand  and  receptiveness  from  Member  States  also  needs  to 
improve. 

 
3.1.2  To  what  extent  has  the  FRA  successfully  fulfilled  its  mandate  to  collect,  record  and  analyse 
relevant, objective, reliable and comparable information and data relating to fundamental rights 
issues  in  the  European  Union  and  its  Member  States  when  implementing  Union  law?  To  what 
extent has this data been collected across all Member States? 
 
The  evaluation  question  has  been  assessed  by  taking  into  account  the outputs  produced  by  the 
FRA,  and  to  what  extent  these  outputs  consist  of  comparative  research.  The  question  is  also 
assessed  through  stakeholder  opinions  in  the  external  survey  and  interviews.  For  the  survey  a 
"judgement threshold" was set at 70% positive answers.  
 
The  majority  of  the  FRA's  research  projects  cover  several  or  all  Member  States.  The  Annual 
Reports developed by the FRA cover by default all Member States, and are based on comparative 
research. Since its inception and until the end of 2011, the Agency had carried out and published 
reports  related  to  the  following  specific  projects  with  coverage  of  all  Member  States  (several  of 
the  projects  have  led  to  several  publications,  please  refer  to  complete  list  of  the  Agency's 
publications in annex IV). 
Table 7: Overview of research covering all Member States. 
2008 
2009 
2010 
2011 
Homophobia and 
EU MIDIS –European 
Homophobia, 
Fundamental rights of 
Discrimination on 
Union Minorities and 
transphobia and 
migrants in an irregular 
Grounds of Sexual 
Discrimination Survey 
discrimination on 
situation in the European 
Orientation in the EU 
 
grounds of sexual 
Union 
Member States Part I – 
Homophobia and 
orientation and gender 
 
Legal Analysis 
Discrimination on 
identity 
Access to justice in 
Grounds of Sexual 
 
Europe: an overview of 
Orientation and Gender 
Detention of third-
challenges and 
Identity in the EU 
country nationals in 
opportunities 
Member States 
return procedures 
 
Part II - The Social 
 
Homophobia, 
Situation 
The right to political 
transphobia and 
 
participation of persons 
discrimination on 
Antisemitism Summary 
with mental health 
grounds of sexual 
overview of the situation 
problems and persons 
orientation and gender 
in the European Union 
with intellectual 
identity in the EU 
2001-2008 (updated 
disabilities 
Member States 
version February 2009) 
 
 
Racism, ethnic 
Antisemitism – Overview 
discrimination and 
of the situation in the 
exclusion of migrants 
European Union 2001-
and minorities in sport: 
2010 
the situation in the 
 
European Union 
Migrants, minorities and 
 
employment - Exclusion 
The asylum-seeker 
and discrimination in the 
perspective: access to 
27 Member States of the 
effective remedies: the 
European Union (Update 
duty to inform applicants 
2003-2008) 
 
 
 

 
 
26
 
 
 
 
 
 
National Human Rights 
The legal protection of 
Institutions in the EU 
persons with mental 
Member States 
health problems under 
 
non-discrimination law 
Data Protection in the 
European Union: the role 
of National Data 
Protection Authorities 
 
Antisemitism Summary 
overview of the situation 
in the European Union 
2001-2009 
 
In  the  research  projects,  legal  analyses  generally  cover  all  Member  States,  while  fieldwork  is 
either  based  on  a  sample  or,  in  some  cases,  all  Member  States.  Often  a  combination  of 
methodologies  is  employed  in  larger  projects,  to  generate  the  best  possible  evidence  based  on 
available  resources.  An  example  of  this  approach  is  the  research  on  irregular  migrants,  which 
combined different approaches to generate the following publications: 
•  Fundamental  rights  of  migrants  in  an  irregular  situation  in  the  European  Union  (November 
2011) – coverage EU 27 
•  Migrants in an irregular situation employed in domestic work: Fundamental rights challenges 
for the European Union and its Member States (July 2011) – sample 10 Member States 
•  Migrants in an irregular situation: access to healthcare in 10 European Union Member States 
(October 2011) – sample 10 Member States 
 
While the overview clearly shows that the FRA has  been fulfilling its mandate to collect, record, 
and  analyse  data  relating  to  fundamental  rights  issues  in  the  European  Union  and  its  Member, 
the external survey results also showed that the research is considered to be of high scientific 
quality.  
 
The scientific quality of the FRA's research was considered to be either of a very high quality or of 
a  high  quality  by 72.7%  of  the  respondents.  No  respondents  considered  the  scientific quality to 
be low. This means that the survey threshold of 70% positive answers was met. 
Figure 6: How would you assess the scientific quality of the FRA's research? N=308 
Of a very high quality n=50
16,2%
Of a high quality n=174
56,5%
Of a sufficient quality n=63
20,5%
Of a limited quality n= 5
1,6%
Of a low quality n=0
0,0%
Do not know/cannot assess n=16
5,2%
0%
10%
20%
30%
40%
50%
60%
 
 
In interviews European level stakeholders clearly expressed a satisfaction with the comparative 
research conducted by the Agency, as is illustrated in the quote below from an interview with a 
representative of the European Parliament. 
 
 

 
 
27
 
 
 
 
 
 
"The FRA takes national laws and compares them to EU level texts, they take the EU standards 
and give us the comparative analysis with regard to the level of adherence of national legislation 
with EU wide laws and international standards. Staff members in the different policy departments 
use  FRA  reports  in  drafting  their  policy  document.  The  evidence  that  is  now  being  provided  is 
much more reliable than before, due to the comparative data that the FRA produces." 

 
Likewise,  the  assessment  from  the  Commission  stakeholders  was  largely  positive,  emphasising 
the fact that information from the FRA is seen as highly reliable and objective. 
 
"Speaking from the Commission’s point of view, the studies and reports presented by the FRA are 
seen as relevant and timely. They are made known through bi-lateral exchanges between the EC 
and  FRA.  From  time  to time  the  website  of  FRA  is  also  consulted,  together  with  press  or  media 
releases.  The  EC  treats  all  sources  of  information  equally,  although  when  it  comes  to  FRA’s 
evidence,  the  reliability  is  seen  to  be  higher  than  for  other  sources  but  the  difference  is  not 
regarded as considerable. At the same time, FRA’s overall quality is not put into doubt, and the 
EC fully trusts the FRA as a reliable source." 

 
The  interviews  with  the  European  Commission  revealed  also  some  more  negative  comments 
regarding  too  few  research  projects  covering  all  Member  States,  while  at  the  same  time 
acknowledging that improvements were being made. 
 
"I think they have never produced a study with comparison based on data on 27 Member States 
yet.  They  have  made  reports  covering  27  MS,  but  often  with  secondary  sources  of  information 
rather  than  primary  data.  There  is  certainly  room  for  improvement  of  these  types  of  products. 
Apart from this, step by step the Agency is delivering better and better products, not all are very 
good, but I have a feeling that they are progressing in the right direction
."  
 
(Note  that  primary  research  has  been  conducted  in  EU  27,  notably  in  the  EU  MIDIS  and  the  Homophobia  surveys  and  is 
currently being carried out in the violence against women-survey) 
 
Positive assessment also came from Member States, where the research provided by the FRA was 
seen  as  unique  in  its  comparative  socio-legal  approach.  Some  critical  voices  were  also  present, 
related to methodology and the fact that most research covering all Member States is based on 
secondary  sources,  rather  than  primary  data.  As  can  be  seen  in  the  quote,  the  communication 
and comments made by Member States are perceived to be listened to by the Agency. 
 
"We  have  experienced  some  problems  with  the  methodology  of  FRA;  some  of  the  reports  are 
done  based  on  NGO  information  and  this  may  not  always  be  correct,  we  think  that  such 
information should be supported by official statistics as well. The 2010 Annual Report was done 
predominantly  on  NGO  sources  and  most  of  our  remarks  were  taken  on  board.  Several  MS  had 
remarks on the report, and as a follow-up to this, the FRA changed the whole process of working 
with their reports. Now the annual report is produced mainly in-house by FRA, not by NGOs. This 
is a very good example of a deficit that has been addressed due to MS comments."
  
 
(Note that according to the FRA the Annual Report 2010 was primarily done by RALEX/FRANET and only a smaller number of 
NGOs) 
 
Other  stakeholders,  such  as  international  and  civil  society  organisations,  also  gave  a  largely 
favourable assessment of the Agency's outputs, in terms of objectivity and reliability. 
 
Based  on  the  findings,  it  can  be  concluded  that  the  FRA  fulfils  to  a  high  extent  its 
mandate  to  collect,  record  and  analyse  relevant,  objective,  reliable  and  comparable 
information  and  data  relating  to  fundamental  rights  issues  in  the  European  Union  and 
its Member States. There is a common opinion that the Agency progresses steadily and 
that its outputs are becoming better and better, with just few critical voices regarding 
methodologies,  sample  and  scope  with  respect  to  specific  reports.  Regarding 
comments related to a lack of primary research covering all Member States, this needs 

 

 
 
28
 
 
 
 
 
 
to be interpreted in relation to the costs and resources required for such activities, but 
it  should  also  be  acknowledged  that  such  research  has  been  and  is  currently  being 
carried out. 

 
3.1.3  To  what  extent  has  the  FRA  developed  adequate  methods  and  standards  to  improve  the 
comparability, objectivity and reliability of data among the 27 Member States? 
 
The  assessment  has  been  based on  responses  in  the  internal  survey,  as  well as  interviews  with 
FRA  staff  and  external  stakeholders.  For  the  survey  a  "judgement  threshold"  was  set  at  70% 
positive answers. 
 
The methods and standards to ensure objectivity and reliability of data employed by the Agency 
are  mainly  related  to  each  specific  research  project  and  research  field.  The  standards  consist 
mostly of work and quality control procedures, rather than specific methods, such as the internal 
pre-publication reviews, the Scientific Committee and expert consultations.  
 
Concerning the methods and standards to improve the comparability of the data, secondary data 
from  Member  States is  rarely  comparable,  which  means  that  most  comparative  research  has  to 
be done by primary data collection. The comparability (and methods and standards to improve it) 
depends  highly  on  the  engagement  by  the  Member  States,  including  their  statistical  offices, 
regarding  the  FRA  projects.  Certain  projects  have  as  an  objective  to  improve  the  comparability 
and  availability  of  information,  such  as  a  project  on  child  rights  indicators,  an  antisemitism 
overview  (study  of  available  information  in  EU  Member  States  on  incidence  of  antisemitism, 
followed by a survey), and a report on hate crime based on a critique of existing data collection 
in  the  Member  States.  Currently  (2012) the  Agency  is  working  with  the  Member  States  (ad  hoc 
pilot  working  group)  to  support  them  in  developing  monitoring  mechanisms  for  their  National 
Strategies  for  Roma  integration.  In  addition,  the  Agency  is  developing  common  indicators  on 
Roma integration, which can be collected and aggregated at the EU level. 
 
The  respondents  to  the  internal  survey  of  the  FRA  (FRA  staff,  Scientific  Committee  and 
Management Board), were of the opinion that the Agency has developed adequate methods and 
standards,  with  73%  and  respectively  83%  strongly  agreeing  or  agreeing  to  related  questions. 
This means that the survey threshold of 70% positive answers was met in both relevant survey 
questions. 
Figure 7: Internal Survey Methods and Standards N=117 
FRA has developed adequate 
methods and standards to 
improve the comparability, 
objectivity and reliability of 
23,1%
50,4%
15,4%
data among the 27 Member 
States, in the field of 
fundamental rights
Strongly agree
Agree
Neither agree or disagree
Disagree
Strongly disagree
FRA’s methods and standards 
Do not know/cannot assess
in terms of comparing data 
among the EU Member States 
30,7%
52,0%
8,0%
provide valuable fact base for 
decisions on future actions
0%
20%
40%
60%
80% 100%
 
 

 
 
29
 
 
 
 
 
 
 
While this is the opinion of internal stakeholders, external interviews showed a similar picture. 
In general, the assessment was positive across the board, as illustrated by the quote below from 
a representative of a UN body. 
 
"As  a  researcher  I  can  evaluate  the  technical  skills  and  sincerity  in  carrying  out  high  quality 
research; I think they are doing a wonderful job especially in the statistical field, the reports are 
setting new standards. This is a very difficult area, there are no off-the-shelves solutions, but the 
FRA set rigid standards and criteria for doing the research, surveys, listen for outside advice, ask 
for stakeholder inputs. They have been doing a good job in that sense." 

 
However, there were also some critical voices in the interviews, pointing to the fact that research 
is  often  based  on  a  mix  of  information  sources,  with  insufficient  references  to  whether  it  stems 
from  official  or  unofficial  data,  primary  or  secondary  data  collection.  Some  of  the  stakeholders 
were of the opinion that reports tended to be too "narrative", by mixing subjective and objective 
information  and  drawing  conclusions  based  on  opinions  rather  than  facts.  However,  there  were 
also  indications  that  improvements  have  been  made  to  this  regard,  as  illustrated  by  the  quote 
below from an official at the European Commission. 
 
"Where  they  can  improve  is  in  not  producing  reports  that  are  narrative  products,  pages  and 
pages of long sentences, instead of having tables, data, figures or very concrete examples. There 
is a tendency to have very long narratives, which simply are not very useful, they are subjective, 
statements by the person editing text, and we lose something in these reports, where the quality 
is not that high. My feeling is that they have improved quite significantly in the last years." 

 
However,  in  other  interviews  the  combination  of  legal  and  social  research  was  pointed  out  as  a 
strength in the Agency's  work, bringing something new to the picture by putting a focus on the 
individual behind the statistics. 
 
A  limited  number  of  stakeholders  expressed  a  wish  for  the  FRA  to  take  a  leading  role  in 
developing  the  methodological  abilities  of  the  Member  States  to  collect  comparable  data  in  the 
field  of  fundamental  rights.  Building  a  knowledge-base  among,  for  example,  the  national 
statistical offices for carrying out primary data collection at the national level in the specific fields 
covered by the FRA was seen to be beneficial in the longer term. 
 
Based  on  the  findings,  it  can  be  concluded  that  the  FRA  has  developed  adequate 
standards and methods to improve the comparability of data across EU Member States. 
However,  this  is  mainly  done  through  the  specific  research  projects,  rather  than  as  a 
part of a harmonisation process of data collection and statistics in general. Ideally, the 
FRA  could  support  the  Member  States  in  setting  up  comparable  systems  of  data 
collection,  but  this  would  require  a  considerable  commitment  and  effort  from  the 
Member States. 

 
3.1.4  To  what  extent  has  the  FRA  fulfilled  its  mandate  to  develop  a  communication  strategy  and 
promote dialogue with civil society, in order to raise public awareness of fundamental rights, and 
actively disseminate information about its work? 
 
The evaluation question has been assessed through a review of communication and cooperation 
strategies, as well as questions in the external and internal surveys and interviews. For the 
survey a "judgement threshold" was set at 70% positive answers. 
 
As  mentioned  in  section  2.4.5,  the  communication  activities  are  guided  by  a  communication 
strategy (the Communication Framework) which is to be perceived as a flexible, living document. 
An  annual  communication  plan  sets  the  more  specific  goals  for  the  communication  and 
awareness-raising activities each year. 
 
 

 
 
30
 
 
 
 
 
 
The  FRA  aims  to  raise  public  awareness  of  fundamental  rights  and  to  disseminate  information 
about its work for example through the following means48: 
•  speeches and presentations by the FRA Director and staff at external events 
•  printed publications (FRA Booklet, FRA factsheet etc) 
•  information stands 
•  online communication channels (website and social media) 
•  FRA newsletters (InFRA, monthly e-Newsletter) 
•  Handbooks etc. aimed at guiding professionals 
•  Awareness raising trainings (journalists, police officers, border guards,…) 
•  Charter app.  
 
The  electronic  newsletter  InFRA  is  distributed  weekly  via  an  e-mail  list  to  around  400  key  FRA 
stakeholders,  containing  information  on  the  coming  events  and  important  developments.  The 
monthly  more  comprehensive  FRA  Newsletter  has  around  4,000  subscribers,  a  figure  that  has 
increased  during  the  second  half  of  2012.49  The  FRA  also  carries  out  more  general  awareness-
raising  activities  such  as  the  S'Cool  Agenda  (a  calendar  aimed  at  young  people,  containing 
targeted information on  Fundamental  Rights  and  the FRA).  The  S'Cool  Agenda  has  been  among 
the most downloaded items on the website of the FRA in 2012.50 A lot of standardised material is 
in place such as booklets, postcards, electronic newsletters, social media (Twitter, Facebook and 
LinkedIn), the website and other promotional material. 
 
The  FRA  is  also  open  for  visitor  groups  as  a  method  of,  for  example,  raising  awareness, 
increasing  the  visibility  of  the  Agency  and  strengthening  the  Agency's  accountability,  openness 
and  transparency.  In  2009-2012,  between  348  (2010  –  the  year  with  least  visitors)  and  624 
(2009 – the year with most visitors) persons have visited the FRA annually. 61% of the visitors 
have  considered  the  visit  to  the  Agency  to  have  been  excellent;  33%  very  good  and  6% 
average.51 
 
An  interesting  example  of  a  FRA  output  directed  at raising  public  awareness  about  fundamental 
rights  is  the  Diversity  Toolkit,  which  was  developed  in  cooperation  with  the  European 
Broadcasting Union. The toolkit has been disseminated broadly among European journalists and a 
high  number  of  European  journalists  have  received  training  on  the  topic  and  it  has  been 
referenced as good practice by for example Council of Europe.52  
 
Concerning the promotion of dialogue with civil society, the FRA is in the process of developing a 
method paper on how to develop further the engagement with civil society organisations at FRA 
project level. The FRA communicates and works together with civil society organisations before, 
during  and  after  its  projects  for  example  by  identifying  experts  or  panellists  from  the  CSO; 
consulting with the CSO during the project design phase; including CSO as experts, researchers 
or a contact point towards specific communities; and by for example promoting project results to 
the CSO, or even by the CSO. 
 
With respect to the promotion of dialogue with civil society, the internal survey showed that the 
FRA  staff  perceives  the  cooperation  with  civil  society  to  be  close,  with  approximately  80% 
responding positively regarding the cooperation. 
 
As can be seen below in Figure 8, in the external survey 71.9% of all respondents and 83% of 
the  respondents  representing  the  Fundamental  Rights  Platform  (who  mainly  represent  the  civil 
society) agreed to some degree that the FRA has been successful in terms of promoting dialogue 
with civil society. While the assessment was overall positive, a significant part of the respondents 
answered "to some degree" (42.3% of FRP respondents). Considering "to some degree" to be a 
positive statement, the survey threshold of 70% positive statements was met. 
                                                
48 European Union Agency for Fundamental Rights: FRA Visitor Groups. 
49 European Union Agency for Fundamental Rights: FRA Monthly Newsletter subscription statistics 2012. 
50 European Union Agency for Fundamental Rights: Report on FRA website traffic and usage statistics for 2012. 
51 European Union Agency for Fundamental Rights: FRA Visitor Groups. 
52 European Union Agency for Fundamental Rights: A Diversity Toolkit for factual programmes in public service television – 
Evaluation report 2012, draft. 
 

 
 
31
 
 
 
 
 
 
Figure  8:  To  what  extent  has  the  FRA  been  successful  in  terms  of  promoting  dialogue  with  the  civil 
society? N=305 

5,6%
To a very high degree
9,2%
26,6%
To a high degree
31,5%
39,7%
To some degree
42,3%
All respondents n=305
9,8%
To a limited degree 
Fundamental Rights Platform 
12,3%
n=130
0,7%
Not at all
0,8%
17,7%
Do not know/cannot assess
3,8%
0% 10% 20% 30% 40% 50%
 
 
The  survey  responses  probably  reflect  the  fact  that  it  is  rather  difficult  to  arrange  an  active 
dialogue  with  all  involved  organisations  in  the  FRP,  as  they  are  highly  diverse  and  cover  all 
possible  fields  of  fundamental  rights  issues.  Still,  regarding  the  dialogue,  there  seemed  to  be  a 
general  satisfaction  among  the  stakeholders  interviewed  from  the  FRP,  although  from  the 
organisations  themselves  it  was  highlighted  that  it  was  difficult  to  create  and  maintain  a 
momentum in the cooperation. 
 
Furthermore expectations differed to a large extent among stakeholders, and in interviews with 
civil society representatives the role and mandate of the FRA was sometimes put into question. 
 
"[I]  was  hoping  for  a  more  independent  status  of  the  FRA,  which  could  intervene  when 
infringements [occur], with power to issue binding opinions. Apart from this, the FRA lives up to 
the  mandate  as  it  is  today,  and  produces  reports  of  high  quality  […]  certain  MS  object  to  third 
pillar work, which makes FRA restricted." 

 
Regarding  awareness-raising  and  dissemination  activities,  the  FRA's  awareness-raising  activities 
are  targeted  activities  addressing  mainly  key  stakeholders  and  not  general  awareness-raising 
campaigns. The targeted activities are generally related to specific projects and the Agency aims 
to create the maximum impact and awareness, as illustrated by the quote below. 
 
"The  FRA  regularly  engages  with  MEP,  Fundamental  rights  platform,  NGOs.  Through  the  LGBT 
Survey, engagement with networks platforms and the MEPS is exactly what allowed the research 
to be relevant and timely. The FRA has done an excellent job to provide the users of its research 
with  the  data  that  they  need,  when  they  requested  it.  Furthermore,  they  have  engaged  with 
ILGA,  TGEU,  MEPs,  they,  in  turn,  have  signalled  to  the  FRA  several  issues  or  types  of 
discrimination which the FRA has further explored." 

 
In the larger projects, there is evidence of outreach beyond key stakeholders. As example can be 
mentioned the recently published survey on Roma and Travellers, where a number of newspapers 
and media across Europe picked up on the results presented in the report53.  
 
An important aspect of awareness-raising, in particular towards the actors working in the field of 
fundamental  rights  are  the  FRA  flagship  events.  Statistics  collected  by  the  FRA  show  that  in 
                                                
53 See for example http://www.economist.com/blogs/easternapproaches/2012/05/europe%E2%80%99s-biggest-societal-
problem; http://www.bbc.co.uk/news/world-europe-18176450. 
 

 
 
32
 
 
 
 
 
 
2001-2012,  42.5%  of  the  participants  have  found  the  flagship  events  to  be  excellent,  while 
another 47.2% have found them to be good.54  
 
Overall,  the  findings  indicate  that  the  FRA  is  working  actively  in  order  to  fulfil  its 
mandate  to  raise  public  awareness  of  fundamental  rights  through  its  communication 
strategy  and  by  actively  disseminating  information  about  its  work.  While  it  is  difficult 
to assess the impact, the Agency is actively using electronic and social media to reach 
the  general  population  as  well  as  stakeholders.  Specific  project  results  are 
disseminated  to  a  wider  public,  through  European  and  national  media  picking  up  on 
publications.  The  user  evaluations  are  in  general  positive,  which  points  towards  a 
positive evaluation result.   
 
With  respect  to  promoting  dialogue  with  civil  society  in  order  to  raise  public 
awareness,  the  actual  cooperation  is  considered  moderately  successful  on  the  part  of 
the  respondents  from  FRP  organisations.  In  specific  projects,  the  cooperation  appears 
to be functioning well. 

 
3.1.5  To  what  extent  has  the  FRA  contributed  to  the  development  of  effective  information  and 
cooperation networks among EU-level and national stakeholders active in the field of fundamental 
rights? 
 
The evaluation question has been assessed through a review of communication and cooperation 
strategies,  as  well  as  questions  in  the  external  and  internal  surveys  and  interviews.  For  the 
survey a "judgement threshold" was set at 70% positive answers. 
 
The  FRA  develops information  and  cooperation  networks  both  around  its  thematic  work,  as  well 
as in its “horizontal” cooperation work.  
 
Within thematic areas, the FRA enables a platform where different stakeholders can meet around 
an  issue,  and  in  this  way  it  aims  to  connect  relevant  actors  and  to  enhance  their  information 
exchange.  This  happens  both  at  the  project  level  (stakeholder  meetings  on  specific  issues)  as 
well as within the FRA “flagship events”, such as the annual EU Fundamental Rights Conference, 
the  FRA  Symposium,  or  the  Presidency  Seminar,  which  are  always  focused  around  one  specific 
issue, aiming at bringing stakeholders together who might otherwise not be able to connect. –  
 
The FRA has also set up, or works with specific networks, across different themes: 
•  The FRA conducts a two-day meeting with all National  Liaison  Officers twice a year, 
and  has  bilateral  contacts  with  the  NLOs  in  between  the  meetings.  Personalised  and 
tailor-made  information  is  sent  to  all  NLOs.  The  FRA  has  also  appointed  among  its  staff 
an NLO network coordinator. 
•  The  cooperation  with  Equality  Bodies  and  National  Human  Rights  Institutions 
(NHRIs) is organised through umbrella organisations, annual meetings, and also bilateral 
contacts. There is a regular dialogue through monthly conference calls with  Equinet and 
the  Chair  of  the  European  Group  of  NHRIs.  Personalised  and  tailor-made  information  is 
sent  to  all  NHRIs  and  Equality  Bodies,  including  the  weekly  InFRA,  a  list  of  FRA  project 
managers,  timeline  of  FRA  launch  of  publications  and  events  and  FRA  Annual  Work 
Programmes.  The  FRA  has  appointed  among  its  staff  a  focal  person  for  communication 
and  cooperation  with  the  above  actors.  The  FRA  has  also  begun  to  develop  its 
cooperation with Ombuds institutions
•  The FRA works with (networks of) local authorities through its “Joined-up governance” 
project. 
•  The Fundamental Rights Platform (FRP) is the Agency’s main forum for cooperation 
with  civil  society  organisations.  It  is  composed  of  350  non-governmental  organisations 
dealing with human rights, trade unions and employer's organisations, relevant social and 
professional  organisations,  churches,  religious,  philosophical  and  non-confessional 
organisations,  universities  and  other  qualified  experts  of  European  and  international 
                                                
54 European Union Agency for Fundamental Rights: Overall satisfaction in FRA flagship events (2011-2012). 
 

 
 
33
 
 
 
 
 
 
bodies and organisations. The FRA has appointed among its staff an FRP coordinator. The 
cooperation between the FRA and the FRP is outlined in a framework document which has 
been  elaborated  by  the  FRA  and  the  FRP  in  consultation.  It  outlines  the  FRA-FRP 
cooperation  overall  and  in  specific  projects,  the  modes  of  cooperation,  regular  meetings 
as  well  as  consultation  procedures  related  to  strategic  planning.  The  document  is 
comprehensive  and  well  structured,  and  should  provide  a  good  basis  for  future 
development of the FRA-FRP cooperation. 
 
In  the  external  survey,  in  particular  the  European  Commission  (80%  responded  at  least  to 
some degree) and the EU Agencies (75% at least to some degree) were positive concerning the 
FRA's  ability  to  develop  effective  information  and  cooperation  networks.  Again,  the  survey 
threshold of 70% positive answers was met. 
Figure 9: In your opinion, to what extent has the FRA contributed to the development of effective 
information and cooperation networks among EU-level stakeholders in the field of fundamental rights? 
N=305 

All respondents N=305
6,6% 37,0%
33,1%
15,1%
European Parliam ent  20,0%
40,0%
30,0%
n=10
To a very high degree
To a high degree
European Commission 
46,7%
33,3%
13,3%
To som e degree
n=30
To a lim ited degree 
Not at all
Do not know/cannot assess
EU Agencies n=20
10,0% 40,0%
25,0%
20,0%
Council of EU n=4
25,0%
50,0%
25,0%
0% 20% 40% 60% 80%100%
 
 
The survey respondents were less positive concerning the FRA's ability to contribute to the work 
at  the  Member  State  level.  Whereas  the  FRA's  mandate  includes  setting  up  and  coordinating 
information  networks  and  using  existing  networks,  drawing  on  the  expertise  of  a  variety  of 
organisations and bodies in each Member State, only 53.8% of all respondents assessed the FRA 
to have been effective at least to some degree to this end (see Figure 10). This means that the 
survey threshold of 70% positive answers was not met. 
 
The results look different when assessing the responses of the national level stakeholders, where 
72.2%  of  the  National  Liaison  Officers,  62.5%  of  the  NHRIs  and  64.8%  of  the  equality  bodies 
assessed the FRA to have been effective at least to some degree with respect to this. It should, 
however,  also  be  noted  that  the  share  of  the  respondents  representing  national  level 
 

 
 
34
 
 
 
 
 
 
stakeholders and answering "do not know/cannot assess" was relatively high, with 18.9% for the 
equality bodies, 11.1% for the NLOs and 6.3% for the NHRIs.55 
Figure 10: In your view, to what extent has the FRA contributed to the development of effective 
information and cooperation networks among national level stakeholders in the field of fundamental 
rights? N=303 

All respondents N=303
14,5%
36,0%
17,2%
24,1%
National Liaison Officers 
27,8%
44,4%
16,7% 11,1%
n=18
To a very high degree
To a high degree
To som e degree
To a lim ited degree 
Not at all
NHRIs n=16
25,0%
37,5%
25,0%
6,3%
Do not know/cannot assess
Equality bodies n=37
18,9%
43,2%
13,5% 18,9%
0%
20%
40%
60%
80% 100%
 
 
Also  the  EU  level  cooperation  was  assessed  to  function  best  in  relation  to  specific  projects  and 
topics,  rather  than  general  information  and  cooperation  networks.  Interviews  clearly  showed 
that the FRA's cooperation strategies are having an impact in terms of creating commitment from 
key stakeholders in particular in projects. 
 
"An  area  of  particular  strength  [of  the  FRA]  is  to  be  able  to  link  different  institutions  and 
organisations  involved  in  human  rights  agenda.  You  don't  have  to  be  the  best  in  conducting 
surveys  or  different  analysis,  you  can  outsource  everything,  but  unless  you  have  the  ability  to 
reach out to different audiences, the surveys and analysis are useless. The FRA is able to do this 
and to reach audiences from NGOs to international organisations." 

 
Some more critical voices were also heard, in particular with respect to the follow-up of the work 
that the FRA is doing in terms of developing networks: 
 
"Currently  it  is  not  possible  to  see  what  the  impacts  of  the  work  of  the  Agency  are  in  terms  of 
bringing  different  stakeholders  together,  for  example  at  the  NGO  platform.  We  perfectly 
understand  that  it's  necessary  to  involve  the  different  NGOs  and  actors,  but  what  is  the  real 
impact of this? […] We don't really know what the results of these events are, except to gather 
different organisations and create a forum to give the impression to the organisations that they 
are in a network." 

                                                
55 Here the relatively small number of respondents should however also be reflected, and for example among the NLOs only 
two respondents represent 11.1% of the total of 18 respondents. 
 

 
 
35
 
 
 
 
 
 
 
However,  in  terms  developing  and  maintaining  general  networks,  meaning  establishing  links 
between the various networks for example by bringing together the NLOs with NHRIs, has so far 
not  been  a  prioritised  focus  of  the  Agency.  Considering  the  focus  that  has  been  placed  on 
creating  well-functioning  coordination  and  cooperation  between  the  FRA  and  its  stakeholders 
since  the  establishment  of  the  Agency,  the  evaluators  consider  this  prioritisation  to  be 
understandable and relevant. 
 
Based  on  the  findings  it  can  be  concluded  that  the  FRA  has  contributed  to  the 
development  of  networks  at  the  EU  and  national  level.  This  contribution  is  mostly  in 
relation to specific projects, where the Agency has an inclusive way of working, which 
takes  into  account  the  knowledge  and  needs  of  different  stakeholders  and  users.  The 
FRA does not engage in more general networking or information/dissemination (apart 
from  newsletters  and  alike),  which  is  assessed  adequate  and  relevant.  The  FRA  does, 
however,  also  engage  in  more  general,  “horizontal”  networking,  meaning  the  general 
coordination  and  cooperation  with  the  stakeholders  in  the  Founding  Regulation.  The 
FRA  has  established  effective  procedures  for  coordination  and  cooperation  which 
ensure  coherence  of  policies  and  activities  with  stakeholders  at  all  levels,  which  is 
assessed an adequate and relevant strategy by the evaluators. 
 
 
3.1.6  To  what  extent  is  the  FRA  effectively  providing  its  services  to  emerging  issues  and  ad  hoc 
requests from the European Parliament, the Council or the Commission? 
 
The  assessment  has  been  based  on  documentation  of  services  provided  by  the  FRA  and  on 
interviews with external stakeholders. 
  
The  Agency  has  not  systematically  registered  all  requests  received  since  2007,  which  is  why  no 
complete record exists. Broadly speaking the different requests for FRA support and input can be 
categorised into the following types: 
 
•  Non-legislative  support  –  input  to  reports,  presentation  of  findings,  technical  expertise  and 
alike 
•  Pre-legislative phase – informal consultations on planned legislative initiatives 
•  Legislative phase – formal opinion on legislative proposals, informal consultations and expert 
input 
•  Post-legislative phase – follow-up of implementation, reports 
•  Ad hoc requests from Member States 
 
Up  to  date,  most  requests  have  been  received  from  the  European  Parliament.  Recently  a 
database  has  been  developed  to  follow-up  on  requests  (formal  and  informal)  received  from  the 
European Parliament, and the FRA plans to also develop a database for other stakeholders.  
 
With  respect  to  the  FRA's  role  in  terms  of  services  concerning  emerging  issues,  the  Agency  is 
developing  so-called  "incident  reports".  An  incident  report  "is  the  result  of  a  situation  which 
requires  further  examination  to  assess  whether  fundamental  rights  have  not been  respected  for 
whatever reason and to identify the relevant information that may result in future action by the 
Agency or EU institutions."56 These reports are assessed to be an important tool to follow-up on 
the  rule  of  law  in  the  European  Union  and  according  to  some  interviews,  these  could  be  used 
more in the future to take up issues of specific importance in the field of fundamental rights. 
 
From the European Commission, few formal requests have been received and the advice provided 
is mainly through day-to-day contact with responsible desk-officers at the Commission. There is 
an awareness that it would be difficult for the FRA to respond to any major requests as shown in 
the following interview with a Commission official. 
                                                
56 See for example: http://fra.europa.eu/en/publication/2010/incident-report-violent-attacks-against-roma-ponticelli-district-
naples-italy.  
 

 
 
36
 
 
 
 
 
 
 
"[...]  because  they  are  not  able  to  deliver  on  short  notice,  we  know  that.  This  is  not  really  an 
issue  for  us,  it  is  not  necessary.  We  have  actually  never  asked  them.  What  FRA  is  doing  is 
something that runs over a longer period of time." 

 
According to interviews with FRA staff there is currently a trend with increasing requests coming 
from the European Parliament as well as other stakeholders. This constitutes a challenge to the 
Agency, since the planning is done beforehand and most staff are fully engaged in projects. Since 
the  requests  are  considered  a  priority,  members  of  staff  have  to  reorganise  their  activities  to 
respond to the requests in a timely manner. As requests increase, this may become an issue in 
terms of resources. 
 
In  external  interviews,  it  was  generally  considered  that  the  Agency  is  highly  responsive  to 
requests and inputs, easy and open to cooperate with.  
 
One issue that came up in several stakeholder interviews concerned the FRA's role as a provider 
of  expertise  and  advice  also  without  a  specific  request  to  do  so.  Some  interviewees  referred  to 
the  fact  that  following  the  coming  into  force  of  the  Lisbon  Treaty,  no  official  human  rights 
institute  exists  in  the  EU.  However,  it  was  mentioned  that  the  FRA  could  play  such  a  role  in 
particular with respect to the legislative process of the EU. The Principles relating to the Status of 
National  Institutions  (Paris  Principles),  which  were  adopted  by  the  UN  General  Assembly 
resolution 48/134 of 20 December 1993 discuss the role of national human rights institutions in 
provision of opinions, recommendations, proposals and reports to the law-makers. While the FRA 
is officially not such an institution, some interviewed stakeholders referred to the role of the FRA 
as the human rights institute of the European Union, and that its role could be compared to the 
role that national human rights institutes have vis-à-vis the national decision-makers. For those 
areas,  the  Paris  Principles  state  as  one  of  the  roles  of  NHRIs  to  "submit  to  the  Government, 
Parliament  or  any  other  competent  body,  on  an  advisory  basis  either  at  the  request  of  the 
authorities  concerned  or  through  the  exercise  of  its  power  to  hear  a  matter  without  higher 
referral,  opinions,  recommendations,  proposals  and  reports  on  any  matters  concerning  the 
promotion and protection of human rights […]".57 
 
Interviewed stakeholders mentioned for example that: 
 
"I  was  hoping  for  a  more  independent  status  of  the  FRA,  which  could  intervene  when 
infringement, with power to issue binding opinions." 
 
"EU could make more use of FRA’s opinions and advice when drafting new legislation." 
 
"FRA should be consulted in all future legislative processes in the EU in any case".  

 
Not all the stakeholders agreed with this view, and there were voices stating that the current role 
of the FRA as a provider of expertise (i.e. developing research and new information for the use of 
the policy-makers) is sufficient. This is illustrated by the following quotes: 
 
"No, think it is important for the FRA to be a research based organisation, and not a watch dog 
function." 
 
"If FRA was to conduct monitoring it would lose momentum, the added value of the Agency is the 
research  and  knowledge  base  which  has  been  created  and  its  focus  on  the  experience  of  the 
citizen." 
 
 
                                                
57 Principles relating to the Status of National Institutions (The Paris Principles). Adopted by General Assembly resolution 
48/134 of 20 December 1993.  
 

 
 
37
 
 
 
 
 
 
 
It can be concluded that the Agency responds to requests to a considerable extent, and 
so  far  the  amount  of  requests  have  been  manageable.  As  the  amount  of  requests 
increases, they may become difficult to cater for. The fact that requests are increasing 
can be seen as a positive proxy indicator for the Agency's relevance to stakeholders, as 
the demand increases for the expertise provided.  
 
Concerning the FRA's role in providing input to the legislative process, there are some 
voices  in  support  of  an  increased  role  in  providing  opinions  on  future  legislation  on  a 
more regular basis.  
 
3.1.7  To  what  extent  are  the  quality  control  mechanisms  in  place  effective  in  ensuring  high  scientific 
quality of the work done and outputs produced by the FRA? 
 
The assessment has been made through an assessment of the quality control mechanisms in 
place, questions in the surveys, and interviews with stakeholders. For the survey a "judgement 
threshold" was set at 70% positive answers. 
 
The Scientific Committee of the FRA provides advice and opinions on the scientific quality of the 
FRA's  work.  The  Scientific  Committee  meets  four  times  per  year  to  discuss  and  review  the 
scientific output, but individual members connected to projects are in more frequent contact and 
can also participate in relevant meetings. As mentioned previously, the members of the Scientific 
Committee  are  selected  based  on  a  call  for  proposal,  where  interested  individuals  apply  to 
become members of the Scientific Committee based on rigorous selection criteria.  
 
In an effort to ensure quality and consistency in reports for publication, which are based on the 
Agency’s project work, an internal committee has been established in the Agency to peer review 
and  critique  deliverables  in  preparation  for  publication.  The  Committee  (which  has  the  acronym 
‘FRACO’  -  FRA  Opinions  Committee58)  consists  of  the  Director,  the  Heads  of  Freedoms  and 
Justice,  Equality  and  Citizens’  Rights,  and  Communication  and  Awareness  Raising  departments, 
and  two  senior  members  of  research  staff  who  act  as  the  Committee’s  secretariat.  Reports  are 
forwarded by the responsible project manager to his/her Head of Department, who then decides 
if the report is ready to be reviewed in FRACO. When a report is considered as ready for review, 
it  is  forwarded  to  all  FRACO  members  to  read  in  preparation  for  a  first  FRACO  reading  of  the 
report.  During  that  reading,  members  of  FRACO  meet  with  the  responsible  project  manager  to 
discuss  the  report.  Prior  to  the  meeting  a  standardised  fiche  is  prepared  for  the  reports  to  be 
reviewed. 
 
This process is undertaken with a view to ensure a consistent overall quality of FRA reports, and 
to  ensure  that  their  findings  are  relevant  for  key  stakeholders.  Project  managers  then  have  to 
revise  the  report  in  line  with  comments  received  in  FRACO.  Most  reports  go  through  a  second 
FRACO  reading  to  further  sharpen  the  contents,  and  in  particular  to  ensure  consistency  and 
clarity with respect to the production of opinions and conclusions. The FRACO process serves to 
provide a system of peer review and quality assurance for all FRA reports, and also presents an 
opportunity  to  share  knowledge  and  harmonise  the  key  messages  concerning  the  Agency’s 
findings across the organisation. FRACO meets once a month, and generally several reports are 
discussed at each meeting. In the FRACO meeting HoDs cannot second a replacement. 
 
Recently, a new tool, the FRA Project Plan Evaluation (FRAPPE)  has been introduced, for an ex-
ante  interdepartmental  assessment  of  projects  (the  Director,  the  HoDs  and  the  FRA  Secretariat 
meet the members of the project team). FRAPPE is intended to discuss project plans at the very 
beginning  of  a  project  life  span.  The  respective  Project  Manager  and  the  core  project  team 
members prepare the draft project plan together and in discussion with the project sponsor, and 
present  the  draft  plan  to  the  FRAPPE  meetings.  As  this  is  a  new  initiative  from  late  2011,  not 
much  experience  has  been  gathered  yet,  but  during  interviews  it  was  considered  an  important 
                                                
58 Decision of the Director, 2-DIR 2010. 
 

 
 
38
 
 
 
 
 
 
complement to ensure synergies and focused stakeholder targeting and communication from the 
outset of the project. 
 
In the external survey, the scientific quality of the FRA's research was considered to be either 
of  a  very  high  quality  or  of  a  high  quality  by  72.7%  of  the  respondents.  No  respondents 
considered the scientific quality to be low.  
Figure 11: How would you assess the scientific quality of the FRA's research? N=308 
Of a very high quality n=50
16,2%
Of a high quality n=174
56,5%
Of a sufficient quality n=63
20,5%
Of a limited quality n= 5
1,6%
Of a low quality n=0
0,0%
Do not know/cannot assess n=16
5,2%
0%
10%
20%
30%
40%
50%
60%
 
 
The  internal  survey  showed  that  82.1  % of  the  respondents  were of  the opinion  that  the  FRA 
has to some extent sufficient quality control mechanisms in place (around 60 % to a high or very 
high  degree).  In  particular  AD  staff  were  highly  positive,  whereas  the  Management  Board  and 
Scientific Committee members were more cautious in their assessment.  
 
Still the threshold of 70 % was well met in both surveys. 
Figure 12: In your opinion, does the FRA have sufficient quality control mechanisms in place to ensure a 
high scientific quality in its work? N=117 

To a very high degree n=20
17,1%
To a high degree n=51
43,6%
To som e degree n=25
21,4%
Total N=117
To a lim ited degree n=6
5,1%
Not at all n=2
1,7%
Do not know/cannot assess n=13
11,1%
0%
10%
20%
30%
40%
50%
 
 
The  interviews  mirrored  well  the  results  from  the  surveys.  A  majority  of  interviewed 
stakeholders were clearly positive about the quality and reliability of the Agency's output, as can 
be seen in the following quotes. 
 
European Parliament: "It has been an improvement of the data released, and it recently became 
more reliable, in 2008, some data may have been inexact, but the quality has increased. It is the 
top resource used in parliamentary work in topics of Fundamental Rights." 
 

 

 
 
39
 
 
 
 
 
 
Member State: "Information is in general very good. Yes, I think they deliver high quality 
information and good information. Of course, it could be better, and I can recall that they 
sometimes present objective data accompanied by a subjective statement on top of the data, 
contextualising the objective data." 
 
International Organisation: "EU-MIDIS survey is a very good example of setting high standards 
and doing excellent work, the report provides a lot of policy relevant information and outputs. If 
you like to work with statistics, it provides very good hard evidence, done on a scientific basis, 
with good samples and very good methodologies." 

 
While most interviewed stakeholders were highly positive, it was also mentioned that quality had 
improved in recent years, and that the capacity of the FRA to produce high quality research has 
increased. 
 
It can be concluded that the current quality procedures are working well in ensuring 
scientific quality of the FRA's work. 

 
3.2 
Efficiency:  To  what  extent  has  the  FRA  conducted  its  activities  and  achieved  its 
objectives  at  a  reasonable  cost  in  terms  of  financial  and  human  resources  and 
administrative arrangements? 
 
3.2.1  To  what  extent  have  the  FRA’s  internal  organisation,  operations  and  working  practices,  as 
created by the Regulation, been conducive to its efficiency? 
 
The  evaluation  question  has  been  assessed  by  collecting  opinions  in  the  internal  survey,  focus 
group  interviews  with  the  FRA  staff  and  interviews  with  stakeholders.  FRA’s  organisation  is 
described in more detail in section 2.4. 
 
The internal survey respondents were mostly satisfied with the efficiency of the current working 
practices of the FRA. Overall 83% of the respondents were satisfied at least to some degree.  
 

 
 
40
 
 
 
 
 
 
Figure 13: Do you consider the FRA's working practices to be efficient? N=75 
AD STAFF MEMBERS n=38 10,5%
36,8%
39,5%
10,5%
MANAGEMENT BOARD n=29
13,8%
55,2%
17,2% 3,4%
FRA SCIENTIFIC COMMITTEE n=8
37,5%
62,5%
To a very high degree
To a high degree
AST n=23
4,3%
34,8%
26,1%
21,7%
To som e degree
To a lim ited degree
Not at all
Do not know/cannot assess
CA n=15
20,0%
33,3%
33,3%
6,7%
SNE n=4
50,0%
25,0%
25,0%
TOTAL  N=117 10,3%
41,0%
31,6%
10,3%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
 
 
While the open comments to the question revealed several types of proposals for improvements, 
there  seemed  to  be  a  general  wish  for  better  prioritisation  of  tasks  and  a  wish  to  further 
concentrate  on  the  advisory  function  of  the  Agency  in  accordance  with  Art.  2  of  the  Founding 
Regulation.  
 
During  the  focus  groups  interviews  with  the  FRA  staff,  the  young  age of  the  Agency  and  the 
quick growth in terms of staff were mentioned as reasons for slow establishment of procedures.  
 
A  number  of  staff  also  pointed  out  that  over  the  previous  years  the  Agency  has  benefited  from 
the open system and the high degree of staff motivation. In the opinion of the respondents, this 
motivation has compensated for the lack of established procedures, however, as developed below 
in section 3.2.2, a number of issues have been raised with regard to workload.  
 
“It was like a start up. There is a bit of a danger in terms of long-term planning and procedures.” 
 
"Lots of staff came in, they also work and create their procedures, we are now imposing a lot of 
evolution,  [...]  So  it's  easy  to  understand  that  there  is  some  reluctance,  as  there  are  limits  to 
how much change a person can take.” 
 
“There might be shortcomings in the procedures. The system is extremely open. People are very 
motivated and that compensates for the lack of procedures. However, there might be frustrations 
with work load issues etc." 
 
"[...] the efficiency is due to a very high level of motivation of staff, who do not mind to work 
extra time and make special efforts to reach a goal, rather than efficient structures/workflows
".  
 
 
 

 
 
41
 
 
 
 
 
 
On  the  other  hand,  the  employees  were  in  general  of  the  opinion  that  the  working  practices  of 
the  Agency  had  improved  significantly  during  the  recent  years.  It  was  for  example  mentioned 
that  the inter-departmental  coordination  has  improved,  and  the  integrated  project  management 
approach  was  seen  to  be working  well.  Some  employees  did  point  out  that the  Agency  is  still a 
very  young  organisation,  where  procedures  have  only  been  in  place  for  1-2  years.  The  Agency 
should now begin the process of consolidation, following the very fast development of the recent 
years. 
 
"When I arrived the structure was not clear. […] I came back after the restructuring. I have seen 
a  fantastic  improvement.  More  structures  are  in  place  now.  Work-flows  are  clear.  Previously  it 
was not clear where the need was and how our findings responded to the needs. 
 
In  the  beginning  only  a  few  procedures  were  in  place  and  they  were  not  in  sync  with  the 
enlargement  of  the  Agency.  Compared  to  three  years  ago  we  made  a  dramatic  improvement. 
Quality control has now been implemented.” 

 
The  question  was  also  commented  on  by  external  stakeholders  during  the  stakeholder 
interviews, 
and the organisation received positive comments with respect to the FRA’s internal 
organisation, operations and working practices. 
 
“What  is  good  is  that  they  are  not  a  closed  organisation,  they  are  aware  of  their  strengths  and 
weaknesses, they are willing to cooperate and fill the gaps by the way of cooperating with others 
[i.e other organisations] with these skills and knowledge." 
 
 
The evaluation findings point towards an overall positive evolutionary trend in terms of 
the  FRA's  internal  organisation,  operations  and  working  practices  towards  efficiency 
since  start-up  until  present.  The  internal  procedures  and  organisational  culture  take 
time to develop and establish, and have been dynamic during the start-up years of the 
FRA.  In  the  future  it  will  be  required  to  find  a  good  balance  between  clear 
organisational  structures  (which  respond  to  concerns  regarding  workload  and 
uncertainty) and freedom of staff to act and cooperate as needed (which contributes to 
motivating staff). 

 
3.2.2  To  what  extent  are  the  structure  and  organisation  of  the  Agency  (size,  organisation,  staff 
composition,  recruitment  and  training  issues,  etc.)  appropriate  for  the  work  entrusted  to  it  and 
adequate for the actual workload? 
 
The  evaluation  question  has  been  assessed  by  collecting  opinions  in  the  internal  survey,  focus 
group interviews with the FRA staff and interviews with stakeholders. Furthermore a comparison 
is  made  between  the  FRA  and  selected  other  EU  agencies,  on  basic  indicators  such  as  budget, 
staff and operational expenditures. 
 
Details  on  the  structure  and  organisation  of  the  Agency  as  well  as  the  work  entrusted  to  it  are 
presented in chapter 2.4 of this report.  
 
The benchmarking has been done with three similar EU agencies, EUROFOUND, EMCDDA and EU-
OSHA.  All the selected agencies work to a varying degree with evidence-based advice, research 
and data collection as well as awareness-raising.  
 
The year for benchmarking was set to 2010, since it was the most recent year with comparable 
data.  It  should  be  highlighted  that  the  FRA  is  considerably  "younger"  than  the  other  agencies, 
and in 2010 the Agency was only three years into existence. 
 
 
 

 
 
42
 
 
 
 
 
 
 
Table 8: Benchmark agencies, 2010 actual outturn 
Indicator 
FRA 
EUROFOUND 
EMCDDA 
OSHA 
Total Revenue (€) 
19,964,636 
20,849,171 
16,273,483 
15,003,466 
Budget allocation 
8,210,197 
10,826,500 
8,697,552 
5,528,700 
for staff (€) 
Number of Active 

59 
101 
78  
65 
Staff 
(permanent 
AD+AST) 
Staff costs as % of 

41% 
52% 
57% 
37% 
budget 
 
% of authorised 
83% 
91% 
93% 
92% 
staff posts actually 
filled  
Proportion of 

28% 
23% 
26% 
22% 
administrative staff 
Operational 

100% 
98% 
99% 
97% 
efficiency (% of 
budget approved 
actually committed) 
Operational 

9,437,232 
8,249,815 
4,533,815 
7,683,366 
Expenditure (€) 
 
On basic operational efficiency indicators, such as budget committed by end of year, the agencies 
are  rather  similar.  In  terms  of  size  EUROFOUND  is  clearly  the  biggest,  with  over  100  staff 
allocated to just above half of the budget. In 2010, the FRA was still in the process of recruiting, 
and 83% of authorised posts were filled59 (end 2011, this figure had increased to 97%). For the 
other agencies it was just over 90%. The proportion of administrative staff is rather similar, the 
somewhat higher percentage of the FRA was due to ongoing recruitment (in 2011 the proportion 
was 24%). 
 
When assessing the efficiency of the organisation, the evaluators have also looked at a few other 
basic  benchmark  indicators,  related  to  budgetary  execution,  over  the  years.  The  comparison 
shows  that  the  FRA  has  managed  to  keep  up  to  speed  since  inception  in  2007,  in  terms  of 
budgetary  commitments,  with  no  differences  between  the  FRA  and  the  other  more  established 
agencies. 
Table 9: Level of Budgetary use (commitments) 
Year  
FRA 
EUROFOUND 
EMCDDA 
EU-OSHA 
2008 
95 % 
94 % 
96 % 
95% 
2009 
99 % 
98 % 
99 % 
94% 
2010 
100 % 
98% 
99 % 
96% 
 
Agencies may allocate funds from their budget in Year N but make the associated payment to the 
relevant  supplier  in  Year  N+1.  Such  differences  between  budgetary  commitments  and  cash 
expenditure are termed “carry-forwards”. 
Table 10: Percentage of Agencies’ operational budget carried forward 
Year  
FRA 
EUROFOUND 
EMCDDA60 
EU-OSHA 
2008 
72% 
55% 
12% 
44% 
2009 
66% 
54 % 
11% 
47% 
2010 
72% 
39% 
13% 
37% 
 
                                                
59 In 2010 the FRA reallocated funds from title I Staff to title III Operational 
60 Uses differentiated appropriations - a mechanism for allocating funds across more than one financial year. 
 

 
 
43
 
 
 
 
 
 
This  overview  shows  that  the  FRA  has  a  high  rate  of  carry-forwards.  The  carry  forward  can  be 
both planned (as will be the case in multi-year projects) and unplanned (when a commitment has 
been made but the work has been delayed for different reasons). If an Agency does not use its 
carry-forwards  from  the  previous  year,  they  must  be  cancelled  in  the  current  year.  The  level of 
cancellation  is  indicative of  the  extent  to  which  an  Agency  has  correctly  anticipated  its  financial 
needs both in the previous and current years. 
Table 11: Cancellation rate of planned carry-forwards 
Year  
FRA 
EUROFOUND 
EMCDDA 
EU-OSHA 
2008 
3 % 
11 % 
10 % 
8% 
2009 
4 % 
6 % 
15 % 
6% 
2010 
6 % 
2% 
16 % 
3% 
 
As can be seen in the table above the high rate of carry forwards of the FRA  does not transmit 
into a high cancellation rate compared to the other agencies. 
 
The presented figures above were maintained in 2011, with a commitment level of 100%, carry 
forward of 73% and a cancellation rate of 1 % (current as per November 2012). 
 
In  the  internal  survey  respondents  were  asked  to  assess  whether  they  agree  that  the  size  of 
the FRA is appropriate in relation to the FRA's mandate and the actual workload. As can be seen 
from  Figure  14,  the  respondents  were  split  in  their  views  concerning  this  question.  While  47% 
either  strongly  agreed  or  agreed  that  the  current  size  of  the  Agency  is  appropriate,  a  total  of 
38% of the respondents were of the opposite opinion.  
 
Figure 14: The size of the Agency is appropriate for the work entrusted to the FRA and adequate for the 
actual workload N=117 

7,9%
Strongly agree
10,3%
36,8%
Agree
36,8%
AD STAFF 
2,6%
Neither agree or disagree
MEMBERS 
8,5%
n=38
Total N=117
47,4%
Disagree
34,2%
5,3%
Strongly disagree
4,3%
Do not know/cannot 
0,0%
assess
6,0%
0% 10% 20% 30% 40% 50%
 
 
As can be seen above, in particular the AD staff seemed to be dissatisfied with the current size of 
the Agency in relation to the mandate and workload, with 52.7% of the respondents disagreeing 
or  strongly  disagreeing  with  the  appropriateness  of  the  size  of  the  Agency.  The  open  answers 
revealed  for  example  that  some  respondents,  while  considering  the  size  of  the  Agency  to  be 
appropriate,  thought  that  the  allocation  of  staff  to  the  departments  was  inappropriate.  Another 
respondent  mentioned  that  "The  expansion  of  primary  data  collection  and  research  is  needed, 
and the workforce is not adapted to these ambitious tasks"
.  
 
 

 
 
44
 
 
 
 
 
 
When  looking  more  specifically  at  the  staff  composition  and  its  appropriateness,  the  survey 
showed  that  in  total  56%  of  the  respondents  either  strongly  agreed  or  agreed  with  the 
appropriateness  of  the  current  staff  composition  for  the  work  entrusted  to  the  FRA  and  the 
current workload (see Figure 15). 
Figure 15: The staff composition is appropriate for the work entrusted to the FRA and adequate for the 
actual workload N=117 

Strongly agree n=15
12,8%
Agree n=45
38,5%
Neither agree or disagree n=15
12,8%
Disagree n=31
26,5%
Strongly disagree n=4
3,4%
Do not know/cannot assess n=7
6,0%
0%
10%
20%
30%
40%
50%
 
 
When assessing the responses of the AD staff based on their time of employment at the Agency, 
it seems that in particular the AD staff who have worked at the Agency for less than a year, are 
dissatisfied with the current staff composition. The group of respondents is however so small that 
the fluctuations in the responses are very high (see Table 12). 
Table 12: The staff composition is appropriate [...] AD staff per time of employment at the Agency N=38 
 
Less than 1 
1-2 years 
3-5 years 
I was 
Total 
year 
working at 
the EUMC 
prior to FRA’s 
establishmen

 





Strongly agree 





Agree 




15 
Neither agree or 





disagree 
Disagree 




12 
Strongly disagree 





Do not 





know/cannot 
assess 
Total 

11 
10 
13 
38 
 
It  seems  that  the  employees  who  are  unsatisfied  with  the  current  staff  composition  were  in 
particular  found  among  the  so-called  operational  departments;  i.e.  CAR,  ECR  and  FJ. 
Respondents from HRP, Administration and the Directorate all agreed with the appropriateness of 
the  current  staff  composition.  The  open  questions  showed  that  some  respondents  thought  that 
there  is  an  uneven  balance  between  research  staff  and  policy  experts  in  the  sense  that 
researchers  outweigh  policy  experts.  This  has  according  to  the  respondents  led  to  difficulties  in 
providing  the  EU  policy-makers  with  policy-relevant  expertise  rather  than  academic  research. 
Additional  junior  research/operational  staff  were  also  called  for  to  help  with  the  daily  non-
research related work of the Agency.  
 
 

 
 
45
 
 
 
 
 
 
The respondents were overall positive concerning the recruitment and training procedures of the 
FRA  (see  Figure  16).  Approximately  60%  of  the  respondents  either  strongly  agreed  or  agreed 
with the appropriateness of the recruitment and training procedures, against 21% who disagreed. 
In  particular  the  AD  staff  were  satisfied  with  the  current  procedures,  with  76.4%  agreeing  or 
strongly  agreeing  with  the  appropriateness  of  the  current  system.  One  respondent  pointed  out 
that "Staff recruitment and training are more and more targeted towards improving appropriate 
staff  composition  to  respond  to  article  2  of  the  Regulation".  However,  some  criticism  was  also 
expressed, including concerning the job descriptions which were assessed to be too generic. 
Figure 16: The recruitment and training procedures are appropriate for the work entrusted to the FRA 
and adequate for the actual workload N=117 

Strongly agree n=21
17,9%
Agree n=50
42,7%
Neither agree or disagree n=17
14,5%
Disagree n=14
12,0%
Strongly disagree n=1
0,9%
Do not know/cannot assess n=14
12,0%
0%
10%
20%
30%
40%
50%
 
 
During  the  focus  group  interviews  a  very  strong  message  came  out  from  the  FRA  staff  that 
there is an on-going debate among staff concerning the workload and the ambitious mandate of 
the  Agency  on  the  one  hand,  and  the  availability  of  human  resources  on  the  other  hand.  The 
following  quote  from  an  interviewee  illustrates  the  general  picture  received  during  the  focus 
group interviews: 
 
“People  feel  that  they  are  overloaded,  while  we  increased  in  size,  we  also  increased  in  activity 
[...]  Staff  are  so  engaged  and  committed  to  what  they  are  doing,  that  they  create  work  by 
themselves.  Being  this  ambitious  as  an  Agency,  we  have  a  lot  of  work  to  do.  The  management 
has  received  the  message  from  staff,  stating  that  it  cannot  continue  as  it  is  now.  This  situation 
has been here since we became FRA." 

 
The  well-being  survey  carried  out  among  the  FRA  staff  in  the  spring  2012  showed  that  the 
members  of  the  FRA  staff  seem  to  be  in  general  relatively  satisfied  with  their  workload.  The 
members  of  the  staff  are  positive  concerning  the  structure  of  the  work  in  terms  of  deadlines, 
flexibility  and  working  hours.  However,  there  is  also  some  dissatisfaction  among  the  FRA  staff 
concerning their workload. Some needs for improvement were in particular identified concerning 
the categories "I am satisfied with my workload"; "My family life is not affected by my workload"; 
"I  consider  that  my  Department  successfully  adapts  its  work  to  the  human  resources  available" 
and  "In  my  Department  the  work  is  normally  planned  in  a  timely  fashion".61  While  these  topics 
scored lower than other workload-related topics, it should however be pointed out that the lowest 
mean score on the scale of 1-5 was 2.81, which does not seem to be highly alarming in the view 
of the evaluator. 
 
The  sick-leave  statistics  showed  that  stress-related  reasons  do  not  seem  to  be  a  very  strong 
factor in the sick-leaves of the FRA staff. In 2011, four persons out of 92 were on sick-leave due 
to stress-related reasons, while in 2010 the share was higher with four persons out of 79.62 
 
                                                
61 European Union Agency for Fundamental Rights: Summary report – FRA well-being survey 2012. 
62 Source: Human Resources and Planning Department. 
 

 
 
46
 
 
 
 
 
 
Staff  issues  are  regularly  on  the  agenda  of  the  FRA  management  team  and  focus  is  put  on 
discussing how to improve the situation.  
 
Overall,  there  is  very  little  staff  turn-over  in  the  Agency.  All  permanently  employed  staff  have 
indefinite  contracts,  which  in  conjunction  with  the  fairly  high  salary  and  benefit  levels,  provides 
very  little  incentives  for  individuals  to  change  even  if  they  are  dissatisfied  with  their  work 
situation or organisation.   
 
The  interviews  revealed that  several  employees  considered it  necessary  for  the  FRA  to  be  more 
concrete  in  terms  of  prioritising  of  work  so  that  resources  can  be  directed  at  a  more  limited 
number of topics within the themes covered by the Agency's mandate. The employees were not 
in favour of narrowing down the mandate of the Agency as such, but spoke of the need to limit 
the number of projects and topics covered by specific projects. Several employees acknowledged, 
however,  that  the  FRA  staff  are  very  motivated  and  engaged  in  fundamental  rights,  and  have 
sometimes  difficulties  to  prioritise,  due  to  personal  interest  in  the  topics  that  they  deal  with  in 
their everyday work. 
 
With respect to the organisation of the Agency, positive views were expressed with regard to the 
effects of the re-structuring activities, the horizontal activities and thematic areas:  
 
“[It  is]  important  to  have  teams  that  can  follow  thematic  policy  developments  from  different 
points  of  view.  I  believe  that  specialisation  is  very  important.  Moving  to  strategically  specific 
areas, we need to develop expertise." 

 
This  evaluation  question  was  commented  on  by  external  stakeholders  during  the  stakeholder 
interviews
,  where  the  comments  received  were  positive  with  respect  to  the  structure  and 
organisation of the Agency: 
 
“They have a good combination of staff and expertise, the different skills of the staff complement 
each  other.  They  have  people  with  human  rights  legal  background,  expertise  in  statistical  and 
social science. This kind of a balance could even be an example for our own organisation on how 
to set up the organisation." 

 
 
Overall, the evaluation has uncovered that, although the majority of the staff consider 
the  Agency’s  structure  and  organisation  to  be  appropriate  in  relation  to  the  FRA's 
mandate and the actual workload, there is a concern regarding the workload. The high 
workload  may  lead  to  a  negative  impact  on  the  employee  satisfaction  in  the  longer 
term and it's important to monitor this development.  
 
The situation is seen as a result of the ambitious tasks and work entrusted to the FRA 
as compared to the Agency’s size.  

 
 
3.2.3   To  what  extent  do  the  Agency's  management  systems  and  processes  contribute  to  the 
effectiveness and efficiency of its operations? 
 
The evaluation question has been assessed by collecting opinions in the internal survey and focus 
group interviews with the FRA staff.  
 
In the internal survey, the respondents considered the management systems of the FRA to be 
efficient,  which  was  indicated  by  the  fact  that  86.7%  of  the  respondents  considered  the 
management  systems  to  be  efficient  at  least  to  some  degree  (see  Figure  17  and  Figure  18). 
Despite  this  generally  positive  result,  some  proposals  for  improvement  were  given  by  the 
respondents.  They  called  for  example  for  improved  communication  among  departments;  more 
long term planning on specific MAF areas; as well as better definition of roles between Heads of 
Departments, team coordinators and project managers.  
 

 
 
47
 
 
 
 
 
 
Figure 17: To what extent do you consider the FRA’s management systems to be efficient? N=117 
To a very high degree n=12
10,3%
To a high degree n=45
38,5%
To som e degree n=39
33,3%
To a lim ited degree n=9
7,7%
Not at all n=4
3,4%
Do not know/cannot assess n=8
6,8%
0%
10%
20%
30%
40%
50%
 
 
The  breakdown  of  answers  in  Figure  18  reveals  that  75%  of  respondents  from  the  Scientific 
Committee and 62.1% from the Management Board considered the management systems to be 
efficient to a very high / high degree while the figure for AD staff stands lower, at 47.4%.  
Figure 18: To what extent do you consider the FRA's management systems to be efficient? N=117 
AD staff m em bers n=38
13,2% 34,2%
39,5%
7,9%
Managem ent Board n=29
13,8%
48,3%
27,6%
10,3%
To a very high degree n=12
Scientific Com mittee n=8
12,5%
62,5%
25,0%
To a high degree n=45
To som e degree n=39
AST n=23
21,7%
43,5%
17,4% 4,3%
To a lim ited degree n=9
Not at all n=4
CA n=15
6,7%
46,7%
26,7%
13,3%
Do not know/cannot assess 
n=8
SNE n=4
25,0%
50,0%
25,0%
Total N=117
10,3% 38,5%
33,3%
7,7%
0% 20% 40% 60% 80% 100%
 
 
The  focus  group  interviews  with  the  FRA  staff  revealed  a  similar  pattern:  respondents  were 
generally positive with respect to the efficiency of the management systems of the FRA.  
 
The  staff  raised  a  number  of  issues  regarding  project  management  such  as:  trust  in  the  staff 
members,  data  protection  measures,  basic  documentation  and  check-lists  and  the  reluctance  of 
letting go of the research activities. 
 

 
 
48
 
 
 
 
 
 
 
It was also mentioned that auditors have confidence in the organisation. The auditors' reports do 
not include many points of criticism, but rather smaller issues to optimise. The auditors mention 
particularly  that  the  findings  in  the  FRA  publications  are  of  high  relevance.  The  overall  positive 
reviews received from the auditors' reports indicate that the FRA has good management systems 
in place. 
 
In  terms  of  recommendations  for  future  improvement,  some  respondents  acknowledged  that  a 
few existing procedures could be made leaner.  
 
The  question  was  also  commented  in  some  of  the  stakeholder  interviews.  With  respect  to  the 
Agency's  management  systems  and  processes,  one  particular  issue  was  raised  with  respect  to 
executive management: 
 
“Internally there is a challenge in the management structure, with too much work dependent on 
the  current  Director.  There  is  not  sufficient  senior management  resource  as  all  the  other  senior 
managers  except  the  Director  are  also  functional  managers.  This  makes  it  vulnerable  and  limits 
the Director's ability to focus on strategic external issues which are important. There is a need to 
install  a  deputy  director,  which  can  ensure  continuity  and  also  handle  more  of  the 
internal/administrative functions across the organisation." 

 
Several  interviewees  agreed  that  the  current  Director  has  been  a  driving  force  in  the 
development  of  the  Agency,  but  the  instalment  of  a deputy  director  did  not  find  strong  support 
among  other  stakeholders  –  in  particular  if  this is  only  to  be done to  ensure the  succession.  As 
mentioned  by  an  interviewee,  changes  in  the  management  can  also  be  a  sign  of  a  healthy 
organisation. 
 
During the recent years the management team of the FRA (including the Director and the Heads 
of  Departments)  has  developed  initiatives  aiming  to  create  a  strong,  coherent  and  solid 
management  team.  The  management  team  participates  in  regular  coaching  sessions  every  six 
months  and  is  also  taking  leadership  training  together.  To  illustrate  this,  the  name  of  the  team 
was changed from the Heads of Departments meeting to Management Team, and it can be said 
that the management team can function as an institutional memory for the Agency also following 
the term of the Director. 
 
However,  it  was  acknowledged  by  some  of  the  interviewees  that  as  the  HoD  are  also  actively 
involved in the research work of the Agency, much of the representative and strategic work does 
at times lie on the Director.  
 
 
The evaluation finds that, overall, the management systems and processes in place are 
recognised by staff to be efficient. While there are areas which can be optimised, these 
require  an  optimisation  of  current  procedures  and  not  a  general  overhaul.  It  is 
considered  that  the  developments  in  the  management  team  are  sufficient  to  ensure 
continuity also following the appointment of a new Director. 

 
 
3.2.4  To  what  extent  are  the  mechanisms  for  monitoring,  reporting  and  evaluating  the  FRA  adequate 
for  ensuring  accountability  and  for  an  appropriate  assessment  of  performance  in  the  context  of 
the agency system? 
 
The  evaluation  question  has  been  assessed  by  collecting  opinions  in  the  internal  survey,  focus 
group interviews with the FRA staff and interviews with stakeholders. 
 
Planning,  Monitoring  and  Evaluation  fall  under  the  responsibility  of  the  Human  Resources  and 
Planning  Department  (HRP).  The  planning  and  monitoring  function  has  been  relatively  recently 
strengthened, with the recruitment of a planning manager in mid-2010. 
 
 

 
 
49
 
 
 
 
 
 
Since 2010 the FRA is operating with an N-2 Annual Work Plan cycle, meaning that the resources 
and the activities of the Agency are planned two years ahead. A systematic consultation process 
has  been  put  into  place  for  the  elaboration  of  Annual  Work  Plans.  To  date  there  has  been  little 
structured  monitoring  activity  of  the  FRA's  outcomes  and  impact.  The  ongoing  monitoring  has 
mainly focused on activities and outputs. 
 
Different  monitoring  systems  are  in  place,  such  as  event  evaluations  and  reporting  on  internet 
usage  and  visits  to  the  FRA  webpage.  The  Agency  also  has  a  reference  database,  managed  by 
the CAR department, which includes references made to the FRA's work through various sources. 
However, for the moment the data collection is not carried out systematically and the database is 
updated ad hoc and thus cannot be considered to provide a comprehensive or exhaustive picture 
of the FRA's outreach. To address this issue, currently work is ongoing to design and implement a 
Performance  Measurement  Framework,  to  provide  management  and  stakeholders  with 
information  on  the  FRA’s  performance  towards  key  performance  indicators.  An  audit  of  the 
planning  and  monitoring  systems  was  conducted  in  2010/2011  by  the  Internal  Audit  Service  of 
the European Commission. 
 
The  mechanisms  for  monitoring,  reporting  and  evaluating  FRA  are  elaborated  in  more  detail  in 
section 2.4.5. 
 
The internal survey results showed that a majority of 64% of respondents considered that the 
mechanisms for monitoring and evaluating FRA are sufficient at least to some degree (see Figure 
19).  It  is  worth  mentioning  that  55.2%  of  the  Management  Board  members  responding  to  the 
survey consider the mechanisms to be sufficient to a high/very high degree while on the opposite 
spectrum, only 30.4% and 34.3% of AST and AD staff respectively consider that the mechanisms 
are sufficient to a high/very high degree. 
Figure 19: Do you consider the mechanisms for monitoring and evaluating the FRA to be sufficient? 
N=117 

To a very high degree n=17
14,5%
To a high degree n=28
23,9%
To som e degree n=30
25,6%
To a lim ited degree n=13
11,1%
Not at all n=7
6,0%
Do not know/cannot assess n=22
18,8%
0%
5%
10%
15%
20%
25%
30%
 
 
This  evaluation  question  was  also  commented  on  during  the  interviews  with  FRA  staff.  It  was 
recognised by the members of the staff that the FRA as an organisation seems to be open to the 
inclusion of new monitoring, reporting and evaluation procedures, which is illustrated in the quote 
below:  
 
“I  have  not  experienced  as  much  resistance  as  in  other  agencies  when  introducing  risk 
management and procedures." 

 
However,  the  interviews  with  the  staff  also  indicated,  inter  alia,  that  the  evaluation  of  outputs 
and impacts is currently insufficient: 
 

 
 
50
 
 
 
 
 
 
 
“We  should  have  a  better  tracking  system  for  FRA  publications  and  their  impact,  how  they  are 
used, and when etc. We should measure more than merely outputs.” 
 
“We  are  about  to  reach  the  correct  monitoring  level  and  procedures  (in  two  years).  One  of  the 
best  ways  of  making  things  smooth  is  [through]  comments  from  the  outside  (internal  auditors, 
evaluators). Our target is to implement by the end of the year 100% of the recommendations of 
the internal auditors.” 
 
The  question  was  also  commented  on  by  external  stakeholders  during  the  stakeholder 
interviews,  
and  the  point  of  view  was  slightly  more  critical.  This  can  be  illustrated  by  a  quote 
from an interview with an NLO, who commented that there have not been systematic evaluations 
of the work of the Agency in the specific thematic fields. 
 
“For  example,  the  Agency  is  still  working  on  the  issue  of  Roma,  publish  a  lot  of  reports  and 
surveys about this. What is the use of this? What is the real impact of these reports and surveys? 
How do these studies have an impact on for example decision-making etc? It is necessary for the 
Agency  to  clearly  explain  the  impacts  of  the  specific  reports  and  work.  […]  From  the  moment 
they are not capable to say what the impact is, the credibility is on the table.”63 
 
 
Overall,  mechanisms  for  monitoring,  reporting  and  evaluating  the  FRA's  work  have 
been  lacking  since  the  establishment  of  the  Agency.  Currently  a  Performance 
Measurement Framework is being tested, designed to provide the Agency with ongoing 
information  on  outcome  and  impact  level,  with  key  performance  indicators.  It  will  be 
important  for  the  Agency  to  make  best  use  of  the  information  provided  from  the 
monitoring, so that it can feed into the planning process as well. 

 
 
3.2.5  To  what  extent  are  the  working  methods  and  composition  of  the  Executive  and  Management 
Board and its Scientific Committee appropriate and efficient? 
 
The  evaluation  question  has  been  assessed  by  collecting  opinions  in  the  internal  survey,  focus 
group  interviews  with  the  FRA  staff  and  interviews  with  stakeholders.  For  the  survey  a 
"judgement threshold" was set at 70% of the respondents agreeing on statements. A benchmark 
on costs of MB meetings has been conducted with selected agencies. 
 
The  MB  meets  twice  a  year  (May  and  December),  and  the  individuals  are  nominated  for  a  time 
period of five years (non-renewable). 
 
The Scientific Committee provides advice and opinions on the scientific quality of the FRA's work, 
it meets four times per year, but individual members are connected to projects and are in more 
frequent contact and can also participate in relevant meetings. 
 
The  Management  Board  and  the  Scientific  Committee  working  methods  and  compositions  are 
described in more detail in section 2.4.1 of this report. 
 
The  benchmarking  data  shows  that  while  the  FRA's  Management  Board  is  smaller  than  the 
benchmark  agencies,  the  costs  for  MB  meetings  are  far  higher  than  in  the  other  agencies.  A 
further  investigation  into  the  figures  has  been  conducted,  aiming  to  identify  the  different  cost 
structure.  However,  the  agencies  register  and  allocate  costs  differently  (travel,  translation, 
interpretation etc), which makes the comparison difficult. Major expenditures related to the FRA's 
MB  meetings  are  translation  of  all  documents  to  French  (according  to  the  FRA,  this  account  for 
65.000  Euro  per  year)  and  travel  and  subsistence  costs  for  members.  Another  difficulty  in  the 
                                                
63 Note that currently the FRA is implementing the Performance Measurement Framework, which is structured around the 
thematic MAF areas, see also 2.4.5. 
 

 
 
51
 
 
 
 
 
 
comparison  is  that  the  differences  in  the  composition  (civil  servants  or  not),  frequency  and 
duration of meetings is not taken into account. 
Table 13: Cost of Management Board 2010 
Benchmark 
FRA 
EUROFOUND 
EMCDDA 
EU-OSHA 
Indicator 
Number of 

30 
84 
57 
84 
Management Board 
(MB) Members 
Total Costs of MB 

186,964 
126,649 
76,697 
70,537 
Meetings (€) 
Average Cost of MB 

62,321 
63,325 
38,349 
35,269 
Meeting (€) 
(40,655)64 
Number of Members 

11 

11 
of ExC 
Number of ExC 





meetings 2010 
Total Cost ExC 

7,249 
24,650  
21,211 
16,028 
meetings (€) 
Average cost per 

1,450 
4,108 
5,303 
4,007 
ExC meeting (€) 
 
While the costs for Management Board meetings are higher, the Executive Committee of the FRA 
are held at a considerably lower cost than in the other agencies.  
 
The  internal  survey  looked  specifically  at  the  efficiency  of  the  working  methods  of  the 
Management  Board.  The  overall  assessment  among  the  respondents  was  positive.  More  than 
80% (86.2%) of the members of the Management Board considered the working methods to be 
efficient  at  least  to  some  degree,  and  there  were  almost  no  respondents  who  criticised  the 
efficiency of the working methods (see Figure 20). While the corresponding figure among all staff 
was  only  62.4%,  this  is  explained  by  the  fact  that  almost  one  third  of  the  respondents  did  not 
know/could not assess the efficiency of the working methods of the Management Board, which is 
understandable concerning the role of the Management Board.  
                                                
64 Excluding translation costs 
 

 
 
52
 
 
 
 
 
 
Figure  20:  To  what  extent  do  you  consider  the  working  methods  of  the  Management  Board  to  be 
efficient? N=117 

10,3%
To a very high degree
5,1%
41,4%
To a high degree
29,9%
34,5%
To some degree
27,4%
Management Board n=29
3,4%
Total N=117
To a limited degree
6,8%
3,4%
Not at all
2,6%
Do not know/cannot 
6,9%
assess
28,2%
0% 10% 20% 30% 40% 50%
 
 
The  respondents  were  also  asked  to  comment  on  the  extent  to  which  they  considered  the 
collaboration  between  the  Scientific  Committee  and  the  FRA  to  be  effective  in  ensuring  high 
scientific  quality.  As  can  be  seen  from  Figure  21  below,  most  respondents  (69.2%)  considered 
this  to  happen  at  least  to  some  degree.  This  means  that  the  survey  threshold  of  70%  positive 
answers  was  not  met  for  both  questions.  Interestingly,  the  respondents  representing  the 
Scientific  Committee  were  not  as  positive  themselves,  with  the  majority  only  agreeing  to  some 
degree. The AD staff seemed to be slightly more positive in their assessment of the collaboration 
with the Scientific Committee, as the share of those considering the collaboration to be effective 
to a very high degree was slightly higher among the AD staff than among all respondents.  
Figure 21: To what extent do you consider the collaboration between the Scientific Committee and the 
FRA to be effective in ensuring high scientific quality? N=117 

All respondents N=117
29,9%
33,3%
9,4% 21,4%
To a very high degree
To a high degree
FRA Scientific Com m ittee  12,5%
62,5%
25,0%
To som e degree
n=8
To a lim ited degree
Not at all
Do not know/cannot assess
AD staff m em bers n=28 10,5% 26,3% 31,6%
26,3%
0% 20% 40% 60% 80% 100%
 
 
The  AD  staff  were  also  invited  to  comment  on  the  role  of  the  Scientific  Committee  during  the 
focus  group  interviews.  Overall,  the  staff  were  satisfied  with  the  Scientific  Committee's 
 

 
 
53
 
 
 
 
 
 
comments and considered feedback to be highly valuable. It was pointed out that it is challenging 
to  at  the  same  time  incorporate  several  types  of  expertise  in  the  Committee  and  provide 
comments  as  a  collective  Committee.  Moreover,  it  was  mentioned  that  more  time  would  be 
necessary  for  the  work  of  the  Scientific  Committee,  and  face-to-face  meetings  with  the 
responsible staff to go through the comments would be valuable.  
 
The  evaluation  question  was  also  assessed  by  collecting  opinions  in  interviews  with  the 
management board, SC members and other FRA staff.  
 
The  opinions  expressed  indicated  a  general  positive  consideration  for  the  working  methods  and 
composition  of  the  MB  and  the  SC.  Interviewees  were  of  the  opinion  that  Management  Board 
members and administration work well together, especially in the context of amending the AWP. 
The MB members pointed out that the size of the MB has raised difficulties with respect to speed 
(or  lack  thereof)  and  ability  of  members  to  influence  processes  unless  they  get  involved  very 
early. It was acknowledged that it would be difficult to change this. 
 
The planning of MB meetings was assessed to be generally good, with documents prepared and 
an explanatory agenda for the meetings.  
 
The  MB  members  emphasised  the  importance  for  them  to  be  independent  and  stressed  that  all 
members  have  an  equal  vote  in  the  MB.  The  difficulty  of  their  work  was  also  mentioned  by  MB 
members themselves during interviews: 
 
“The MB is a real challenge; there is the formal side with management and business processes, 
and  then  also  the  content,  political  side  of  the  Agency's  work.  Often  MB  members  do  not  even 
realise  how  complex  it  is,  a  very  diverse  group  with  Civil  Society,  NGOs,  academia  etc 
represented.” 
 
In  support  of  the  MB,  it  was  pointed  out  that  while  the  MB  is  an  important  forum  to  discuss 
strategy, for financial matters a financial committee was set up which has the task of reviewing 
all  the  financial  information  and  present  them  to  the  MB,  and  the  Executive  Board  has  been 
engaged  in  the  risk  register,  in  preparing  meetings  (agenda,  papers  etc)  as  well  as  other 
strategic initiatives such as the stakeholder review. 
 
An issue that was mentioned during the evaluation concerns the voting rules of the Management 
Board.  As  the  rules  are  now,  2/3  of  all  the  MB  members  have  to  vote  in  favour  in  order  for  a 
decision  to  be  taken.  This  has  sometimes  led  to  challenges  when  not  all  the  MB  members  are 
present at the MB meeting. 
 
The Scientific Committee’s work was also discussed in more detail. Interviewees considered it to 
be reliable and quick “top service” and their comments to be, from the legal point of view, very 
good. 
 
Certain recommendations for improvements were also expressed, these regarded the amount of 
feedback received, as well as the interaction between the different departments and the SC: 
 
“It would be nice to have meetings with the rapporteurs and discuss things more thoroughly. The 
cooperation could be given more time.” 
 
“[The SC] could play a larger role, now it's commenting on draft reports, but it should be more 
on  scientific  methods,  […]  [the  new  SC  could  have]  more  methodological  skills  and  be  able  to 
advise us early on in the process.” 
 
 
 
 

 
 
54
 
 
 
 
 
 
In an interview with one of the SC member, the positive evolution of the situation over time was 
described:  
 
“In the beginning no one knew what they needed to do but where we are now is quite good. We 
get involved early on. We can discuss the AWP and whether it makes sense financially. We have 
an early involvement with meetings when setting up the research. One example is that that we 
are involved in the design of questionnaires. We also comment on the draft reports.”  

 
The structure of the SC (6 lawyers, 4 social scientists and 1 statistician) was also commented by 
one  respondent.  It  was  noted  that  the  lawyers  are  not  experts  in  data  collection  and  their 
evaluation  of  the  work  of  the  FRA  reflects  this  fact.  The  respondent  pointed  out  that  the 
importance of social scientists in the SC was increasing. 
 
On the negative side, it was pointed out by the FRA staff that, while acknowledging the need for 
diversity of backgrounds in terms of the composition of the SC, this makes it difficult for them to 
comment  as  a  group.  Moreover  this  problem  is  augmented  by  the  working  method  currently 
used,  where  one  Committee  member  functions  as  a  "rapporteur"  to  one  specific  project  and 
presents the quality assessment to the SC for endorsement: “Our [FRA staff] way of interacting 
with  them  
[the  members  of  the  SC]  does  not  allow  for  them  to  be  collective.”  It  was  also 
mentioned  that  in  order  to  address  this  particular  issue,  a  workspace  for  the  SC  and  more 
resources could be needed.   
 
Overall, the evaluation findings point towards a favourable assessment of the working 
methods  and  composition  of  the  Executive  and  Management  Board  and  the  Scientific 
Committee. Some challenges are inherent in the set-up, notably different backgrounds 
in  a  large  Management  Board  with  differing  opinions,  but  the  processes  put  in  place 
seem to have contributed to a constructive cooperation. 

 
 
 
 

 
 
55
 
 
 
 
 
 
3.2.6  To  what  extent  have  the  administrative  procedures  supported  the  operational  activities  of  the 
FRA? 
 
The  evaluation  question  has  been  assessed  by  collecting  opinions  in  the  internal  survey  and 
internal interviews with the FRA staff. For the survey a "judgement threshold" was set at 70% of 
the respondents agreeing on statements. 
 
The Agency’s financial management is governed by the Council’s Framework Financial Regulation 
and is in compliance with relevant procedures of the European Commission.  
 
During the assessment period the FRA has developed its Management Information System (MIS) 
called  MATRIX.  MATRIX  is  under  continuous  development.  The  basic  feature  of  MATRIX  is  to 
enable  follow-up  of  projects,  tasks  and  the  human  resources  allocated  to  them,  milestones  and 
budget  execution,  as  well  as  procurement  management.  Matrix  covers  the  Annual  Work 
Programme (AWP), project management, budget monitoring, Activity Based Budgeting (ABB) and 
management of tenders and contracts (TCM) 
 
In  addition,  the  Agency  has  developed  systems  for  reimbursement  claims/mission  expenses 
(MIMA) as well as leave management (LEAMA).  
 
The  financial  management  system  used  is  ABAC.  A  monthly  Finance,  Procurement  and 
Accounting Report is produced, to follow-up on the operations. 
 
The administrative and financial procedures are described in more detail in section 2.4.4. 
 
The  results  of  the  internal  survey  showed  that  74.3%  of  the  respondents  considered  that 
administrative  procedures  are  at  least  to  some  degree  supportive  to  the  FRA’s  operational 
procedures.  The  figure  was  higher  (84.2%)  among  AD  staff  members,  but  percentages  were 
stable  over  all  categories  of  FRA  staff,  showing  also  that  the  survey  threshold  of  70%  positive 
answers was met. 
Figure 22: Do you consider the administrative procedures to be supportive in terms of FRA’s operational 
activities? N=117 

To a very high degree n=10
8,5%
To a high degree n=40
34,2%
To som e degree n=37
31,6%
To a lim ited degree n=13
11,1%
Not at all n=7
6,0%
Do not know/cannot assess n=10
8,5%
0%
10%
20%
30%
40%
 
 
During  the  internal  interviews  several  persons  expressed  views  in  respect  to  how 
administrative  procedures  are  supporting  the  operational  activities  of  the  FRA;  views  from  both 
administration as well as operational departments are included in this section. 
 
The FRA staff made positive comments regarding the financial procedures in place, the existence 
of  a  service  approach  in  the  administrative  departments,  the  internal  quality  check  which  was 
recently  introduced  and  is  seen  as  a  major  improvement,  and  finally  on  the  integrated  project 
management approach. The issue of Management Information Systems (MIS) was also raised in 
the interviews: 
 
 

 
 
56
 
 
 
 
 
 
“We have developed so that we now have more than 20 applications addressing different needs. 
We are at the stage where not everything is optimised yet. There are still glitches, but I think we 
are on the right track and people are accepting the new procedures.” 

 
In all the focus group interviews the FRA staff also shared negative views with respect to some of 
the MIS, especially with regard to the use and added value of MATRIX65: 
 
“The  tools,  which  are  supposed  to  support  management,  are  hindering.  The  added  value  of 
MATRIX to my daily life is minimal. The management focuses a lot of attention on something that 
is irrelevant to me [i.e. Matrix].” 
 
“Matrix does facilitate information sharing between people. DMS is not really in place yet. Lack of 
usage also leads to lack of feedback and lack of results. You cannot use MATRIX if there is lots of 
lacking data.” 
 
“MATRIX  is  sometimes  perceived  as  a  monitoring  tool.  What  I  saw  in  it,  is  that  it  was  never 
finished  off  properly,  we  were  just  getting  the  final  input  in  and  there  was  no  management 
decision  to  say  that  from  this  day  we  use  this.  Technical  ability  is  one  issue,  but  mainly  a 
management issue – the Director should tell the HoD that from this day MATRIX has to be used.” 
 
“I am using MATRIX now. For me it started making sense when the budget module was included. 
For the administration of my project it is helpful but not for the planning.” 
 
“I was told I needed to use it. MATRIX was hell. Like duplicating work, no one knew how to use 
it. Financial milestones were awful. We received no proper training. It was like a step backwards. 
I am using MS project instead for some of the features.” 
 
“DMS  is  a  good  idea.  It  offers  a  way  to  find  documents  quickly  and  track  them.  But  it  is 
extremely slow.” 

 
The above statements should be balanced by a recent usability study of the MATRIX carried out 
by  an  external  contractor.  The  usability  study  included  hands-on  exercises  to  monitor  the 
participants’ actions when using the  MATRIX. The selected participants were average and below 
average MATRIX users to allow a more realistic assessment. The results indicated that eight out 
of  10  tasks  were  completed  by  all  the  participants  in  an  average  time  of  approx.  2,5  minutes. 
These tasks included in the exercises represent 90% of the actions needed by MATRIX users to 
update the project records. It also emerged that the look and feel of the software could become 
more intuitive and that the requested project information for planning and monitoring should be 
centralised using MATRIX and not using other means. 
 
However, when looking at the FRA well-being survey, it can be seen that some improvements are 
still needed for the FRA staff to fully acknowledge the benefits of the administrative procedures in 
place,  as  both  the  statements  "I  receive  the  necessary  administrative  backing  to  do  my  job 
properly"  and  "I  consider  that  the  administrative  procedures  in  place  help  me  to  do  my  job 
properly" are scoring lowest in the job satisfaction category.66  
 
Based on the findings, it can be concluded that administrative systems overall function 
well.  However,  it  is  clear  that  there  is  a  need  for  increasing  the  use  of  MATRIX  as  a 
management  system, rather than an administrative system. While the implementation 
is  still  ongoing  and  MATRIX  is  under  continuous  development,  the  usage  should  be  in 
focus in the next period. 

 
                                                
65 MATRIX was introduced at the Agency with the use of at least the following measures: introducing its use via a pilot 
project to collect hands on feedback from users and fine-tune the application; the pilot phase was introduced by the Director 
and all staff was informed; information sessions and group trainings took place; training materials and hands-on user guides 
were created; One-to-One trainings took place from 2009 onwards. 
66 European Union Agency for Fundamental Rights: Summary report – FRA well-being survey 2012. 
 

 
 
57
 
 
 
 
 
 
3.2.7  Is  there  scope  for  simplifying  existing  administrative  arrangements  and  working  methods?  To 
what extent is the ratio administrative/operational staff adequate? 
 
The  evaluation  question  has  been  assessed  by  collecting  opinions  in  the  internal  survey  and 
internal interviews with the FRA staff.  
 
The Agency’s financial management is governed by the Council’s Framework Financial Regulation 
and  is  in  compliance  with  relevant  procedures  of  the  European  Commission.  This  limits  the 
Agency’s  flexibility  in  terms  of  simplification  of  administrative  procedures.  However,  the  Agency 
has  been  working  to  maximise  flexibility  of  its  internal  administrative  processes  with  a  view  of 
reducing  unnecessary  bureaucracy  via  simplifying  the  financial  workflow  and  reducing  the 
financial actors involved. 
 
To  streamline  the  procurement  procedures  the  FRA  has  established  a  Steering  Committee  that 
acts  as  an  advisory  body  in  high  value  tendering  procedures.  When  possible,  the  Agency 
participates in the Commission’s inter-institutional tenders to reduce costs in human resources. 
 
Since  March  2011,  the  Agency  has  started  implementing  a  paperless  approach,  amongst  others 
CVs  are  no  longer  printed  when  recruiting,  but  read  on  tablets  bought  specifically  for  this 
purpose. The estimation is that approximately 500.000 pages have been saved by this initiative. 
 
The  internal  survey  asked  all  categories  of  FRA  staff67  to  state  their  opinions  on  whether  the 
existing  administrative  arrangements  are  necessary  and  adequate  or  should  be  simplified.  The 
results  (see  Figure  23)  showed  that  overall,  the  views  in  this  respect  were  divided,  with  some 
more respondents considering that the administrative arrangements should be simplified (52.5%) 
than  considering  that  the  existing  administrative  arrangements  are  necessary  and  adequate 
(42.5%).  
 
However, if the figure is broken down for each category of FRA staff, in all but one staff group, a 
majority  of  respondents  considered  the  administrative  arrangements  to  be  necessary  and 
adequate.  The  only  exception  was  AST  staff,  a  vast  majority  (78.3%)  of  which  considered  that 
the  administrative  arrangements  should  be  simplified.  This  seems  understandable,  as  these 
perform administrative tasks on a daily basis and are thus most strongly affected by inflexible or 
time-consuming administrative procedures. 
                                                
67 The Management Board and Scientific Committee are not included in this figure. 
 

 
 
58
 
 
 
 
 
 
Figure 23: How do you consider the administrative arrangements in the FRA? N=80 
44,7%
AD STAFF MEMBERS 
52,6%
n=38
2,6%
78,3%
AST n=23
21,7%
I think that the existing 
0,0%
adm inistrative 
arrangem ents should be 
sim plified
40,0%
I think that the existing 
CA n=15
46,7%
adm inistrative 
arrangem ents are 
13,3%
necessary and adequate
Do not know/cannot 
25,0%
assess
SNE n=4
50,0%
25,0%
52,5%
Total N=80
42,5%
5,0%
0%
20% 40% 60% 80% 100%
 
 
The internal survey looked also into whether the current staff allocation between administrative 
and  operational  staff  is  adequate  (see  Figure  24  below).  The  results  showed  that  39.3% 
considered  the  allocation  to  be  adequate  while  33.3%  consider  that  more  resources  should  be 
attributed to  operational  staff  and  only  6.8%  were of  the opinion  that  more administrative  staff 
should be prioritised. 
 
The ranking of the options was different for AST staff and the members of the SC, the majority of 
respondents corresponding to these categories (39.1% and 37.5% respectively) considering that 
more resources should be allocated to operational staff.  
 
On  the  opposite  side  of  the  spectrum,  the  contract  agents  were  the  only  category  which 
considered  that  more  resources  should  be  allocated  to  administrative  staff  (33.3%  of  CA 
respondents supported this view). 
 

 
 
59
 
 
 
 
 
 
Figure 24: In your view is there a need to prioritise differently in terms of administrative and operational 
staff? N=117 

2,6%
AD STAFF MEMBERS 
47,4%
39,5%
n=38
10,5%
0,0%
MANAGEMENT BOARD 
48,3%
24,1%
n=29
27,6%
0,0%
I think that there is a need 
FRA SCIENTIFIC 
12,5%
to allocate more resources 
37,5%
COMMITTEE n=8
to administrative staff
50,0%
I think that the current 
8,7%
balance is adequate
30,4%
AST n=23
39,1%
21,7%
I think that there is a need 
to allocate more resources 
33,3%
to operational staff
26,7%
CA n=15
20,0%
Do not know/cannot 
20,0%
assess
0,0%
50,0%
SNE n=4
50,0%
0,0%
6,8%
39,3%
Total N=117
33,3%
20,5%
0%
20%
40%
60%
 
 
The  question  of  simplification  of  administrative  procedures  was  commented  on  during  the 
internal interviews, where a member of the staff pointed out that the procedures have already 
been  simplified,  stating  that:  “Project  structure  used  to  be  so  complicated.  The  budget  line  has 
been simplified. You used to have three different posts and sponsors. Now there is only one and 
one budget line. It used to be more complicated.”
 
 
Other  employees  shared  the  same  opinion  and  provided  positive  statements  concerning  the 
financial procedures, which have in the view of the following respondent been made quicker and 
more flexible:  
 
“[the financial procedures are] not a burden – may be seen as such initially,  but not really. We 
try to comply with the rules; we also try to be flexible where we can, for example [we] provide 
letters by e-mail.” 

 
As  mentioned  in  section  2.4.4,  since  2010  the  FRA  is  operating  with  an  N-2  Annual  Work  Plan 
cycle, meaning that the resources and the activities of the Agency are planned two years ahead. 
Through this mechanism, procurement processes can be launched at year end minus 1 instead of 
committing a large amount of the budget in Q4. 
  
From  the  findings  it  can  be  concluded  that  the  staff  are  divided  in  their  views 
concerning  the  existing  balance  between  administrative  procedures  and  the  need  for 
checks  and  controls.  More  than  half  of  the  staff,  and  in  particular  those  of  AST 
category,  consider  that  the  administrative  arrangement  should  be  simplified.  Some 
simplification measures have already been taken and although there is certainly a need 
for continuous work on simplification, it must also be acknowledged that the Agency is 
bound  to  follow  standards,  and  thus  only  have  limited  means  available  to  simplify 
procedures. 

 
 

 
 
60
 
 
 
 
 
 
 
3.3 
Utility:  To  what  extent  has  the  FRA  been  successful  in  addressing  the  needs  of  the 
European Union institutions and Member  states in providing them  with assistance and 
expertise to fully respect fundamental rights in the framework of Union law? 
 
3.3.1  To  what  extent  have  the  FRA’s  work  and  actions  effectively  helped  institutions,  bodies,  offices 
and agencies of the Union and its Member States to ensure full respect of fundamental rights in 
the framework of Union law? 
 
The  evaluation  question  has  been  assessed  by  collecting  stakeholder  opinions  in  the  external 
survey, interviews as well as the case studies. For the survey a "judgement threshold" was set at 
70 % positive answers.  
 
In the external survey, the stakeholders were asked to assess the value of the FRA's work to 
EU institutions, bodies, offices and agencies by stating to what extent the FRA's work and actions 
have effectively helped the EU level actors to ensure increased respect of fundamental rights in 
the  framework  of  EU  law.  As  can  be  seen  from  Figure  25  below,  64.6%  of  the  respondents 
representing  EU  level  actors  either  strongly  agreed  or  agreed  that  the  FRA's  work  and  actions 
have been effective.  
Figure 25: The FRA's work and actions have effectively helped institutions, bodies, offices and agencies 
of  the  European  Union  to  ensure  increased  respect  of  fundamental  rights  in  the  framework  of  EU  law 
N=307 

3,9%
Strongly agree
3,1%
40,1%
Agree
61,5%
30,9%
Neither agree or disagree
20,0%
All respondents n=307
6,8%
Disagree
EU institutions n=65
7,7%
0,7%
Strongly disagree
0,0%
Do not know/cannot 
17,6%
assess
7,7%
0%
20%
40%
60%
80%
 
 
In  the  open  questions,  the  respondents  mentioned  for  example  that  the  organisation  of  timely 
planned  seminars  has  helped  raise  awareness  about  relevant  topics.  Moreover,  the  FRA's 
cooperation  with  Frontex  to  help  mainstream  human  rights  into  the  latter's  activities  was 
mentioned as a positive example of work, where agencies of the EU were supported by the FRA. 
 
The survey results were less positive concerning the FRA's work at the national level (see Figure 
26).  While  providing  support  to  the  Member  States  in  the  field  of  fundamental  rights  is  an 
important  part  of  the  FRA's  mandate,  only  32.8%  of  the  national  level  stakeholders  strongly 
agreed  or  agreed  that  the  FRA's  work  and  actions  have  been  effective  to  this  end.  It  should, 
however, also be emphasised that the respondents have found this question  difficult to answer, 
as 58.6% of all respondents (56.2% of national authorities) neither agreed nor disagreed; or did 
not  know/could  not  assess  whether  this  was  the  case.  However,  this  means  that  the  survey 
threshold of 70% positive answers was not met with respect to either question. 
 

 
 
61
 
 
 
 
 
 
Figure  26:  The  FRA's  work  and  actions  have  effectively  helped  Member  States  to  ensure  increased 
respect of fundamental rights in the framework of EU law N=307 

1,6%
Strongly agree
2,7%
24,8%
Agree
30,1%
Neither agree or 
39,1%
disagree
45,2%
All respondents n=307
12,1%
Disagree
National authorities n=73
9,6%
2,9%
Strongly disagree
1,4%
Do not know/cannot 
19,5%
assess
11,0%
0% 10% 20% 30% 40% 50%
 
 
This result might reflect the issue that the evaluation question does not specifically differentiate 
between the role of the FRA as a provider of expertise, on the one hand, and assistance on the 
other  hand,  which  is  according  to  some  stakeholders  an  important  differentiation  to  be  made 
when assessing the utility of the FRA towards its stakeholders. The open answers provided some 
more  clarity  to  the  situation,  as  respondents  pointed  out  for  example  that  they  considered  the 
FRA  to  be  too  young  an  organisation  in  order  to  assess  its  impact.  It  also  seemed  that  the 
stakeholders  saw  improvement  in  recent  times  in  the  FRA's  work  and  outreach  at  the  national 
level, but that there is still some way to go to make the FRA well known among the national level 
stakeholders. 
 
This  question  was  commented  on  by  several  stakeholders  in  the  stakeholder  interviews
Based  on  the  interviews,  it  seems  that  the  FRA's  work  and  actions  have  effectively  helped  in 
particular the institutions, bodies, offices and agencies of the EU.  Interviewees representing the 
Commission  and  the  European  Parliament  are  highly  positive  in  their  assessment  of  the  FRA  in 
this regard.   
 
"MEPs  have  increased  the  reliability  of  their  work,  because  by  using  the  work  done  by  the  FRA 
they were able to better discuss the issues by having reliable data at their disposal. The quality of 
the  overall  discussion  with  all  stakeholders  has  also  increased  thanks  to  the  development  of  an 
EU wide accepted terminology and language." 

 
Interviewees  representing  the  Commission  mentioned that the  evidence  from  the  FRA  has  been 
referenced  as  an  argument  in  support  of  the  Commission  measures,  and  that  in  particular  the 
comparative studies are needed. The EU-MIDIS study was mentioned as an example of a study, 
which has been particularly helpful. The efforts of the FRA to push the fundamental rights agenda 
forward were also mentioned: 
 
"Another example is how FRA came up with excellent ideas how to communicate actions, and in 
addition FRA’s policy recommendations are good too. They find solutions and try to communicate 
them out to the relevant actors. They really try to push the fundamental rights agenda forward 
with their many actions, this is good, but difficult as the Commission is not always cooperative." 

 
The  interviews  showed  that  the  work  and  actions  have  helped  the  Council  to  a  lesser  extent.  A 
Member State representative also sitting in the Council working group FREMP mentioned that: 
 
 

 
 
62
 
 
 
 
 
 
"The FRA could be more used – goes for both the EU institutions and our national organisations. 
It's a young agency and I hope that it will become a more active partner for the Council and the 
Member States as well, and that they will have more data that could be used." 

 
This  was  also  mentioned  by  representatives  of  the  FRA  staff  during  group  interviews,  where  it 
was stated that the FRA has not yet found the right entry point to make their work more visible 
to the Council. However, some Member State representatives considered that the FRA is on the 
right  track  in  terms  of  getting  more  actively  involved  in  the  work  of  the  Council,  but  that  the 
most  important  thing  is  for  the  FRA  to  make  itself  known  and  appreciated  among  the  Member 
States, and to show to the Member States the value that the FRA can provide.  
 
These  findings  imply  that  the  FRA's  work  and  actions  have  not  been  as  effective  in  providing 
expertise  and  assistance  to  the  Member  States.  It  seems,  however,  that  there  are  some 
developments  taking  place,  as  also  mentioned  in  the  survey  above.  The  NLOs  have  recently 
discussed with the FRA, how the FRA can further support the work of the Member States. 
 
"Now  the  FRA  has  become  quite  interested  in  us  [the  Member  States]  working  with  them. 
Perhaps some Member States have not asked the FRA to work with them. Now the FRA tells us 
that  we  should  use  them  more  as  service  providers  when  we  want  an  assessment  on  human 
rights." 

 
Some Member States clearly see the importance of working together with the FRA, for example 
due to the learning potential that the cooperation gives them. Other Member States state directly 
that the FRA is not very well known among the national authorities and that the ministries do not 
have an interest in the work of the FRA.  
 
More  specifically,  the  initiatives  that  have  been  taken  by  the  FRA  together  with  the  NLOs  to 
increase the usefulness of the Agency towards the national level include: 

Providing  more  information  to  the  NLO  on  the  provision  in  the  FRA  Founding  Regulation 
opening up the possibility of thematic requests from the Council.  

In  relation  to  more  direct  requests  from  Member  States,  the  FRA  is  planning  to  prepare  a 
short “menu” proposing topics and types of information that Member States could ask for 

Increasing the number of tailor-made tools for specific target groups, such as handbooks for 
legal practitioners or work of the FRA on the common core curriculum of Frontex 

Exploring how the Agency's expertise can be made more accessible online 

Facilitation  of  cross-national  exchange  of  practices,  for  example  within  the  framework  of 
stakeholder meetings, such as the one on "Apprehension of migrants in an irregular situation 
– fundamental rights considerations".  
 
While acknowledging the importance of increased focus at the national level, several interviewees 
pointed  out  that  it  is  also  important  for  the  FRA  to  make  sure  that  the  initiatives  it  works  on 
towards  the  Member  States  can  benefit  a  larger  group  of  Member  States  and  not  only  the  one 
Member State that is requesting advice or assistance. It is the assessment of the evaluator that 
this aim is visible from the above list of activities. 
 
The  challenges  to  have  an  impact  at  the  national  level  were  also  voiced  by  a  member  of  the 
Management Board of the FRA: 
 
"On  the  EU  level  it  is  working  well  in  general,  likewise  NGOs  with  a  European  perspective. 
National  level  is  more  difficult  to  reach,  to  find  the  relevant  stakeholders  and  raise  their 
awareness  of  FRA  and  FRA  products.  NLOs  are  diverse  and  come  from  different  settings,  their 
role is a bit unclear as well as the mandate of the NLOs. It is not a decision making body, more a 
consultative body." 

 
The findings of the case studies showed similar trends as the interviews and the survey. In the 
fields of Roma and travellers, fundamental rights of irregular migrants as well as homophobia and 
discrimination  on  grounds  of  sexual  orientation  and  gender  identity,  the  work  of  the  FRA  has 
been acknowledged by the respective DGs, who have confirmed the usability of the data for the 
 

 
 
63
 
 
 
 
 
 
work of the European Commission. The case studies all showed difficulties in linking the work of 
the FRA to concrete policy developments at the national level. 
 
Another issue with respect to the FRA's ability to effectively help the Union and its Member States 
to ensure full respect of fundamental rights in the framework of Union law concerns its mandate 
with respect to the "former 3rd pillar" questions, i.e. in the area of judicial and police cooperation.  
 
Following  the  coming  into  force  of  the  Treaty  of  Lisbon,  and  inclusion  of  the  area  of  Judicial 
cooperation  in  criminal  matters  as  an  EU  competence68,  there  were  some  expectations  among 
stakeholders  and  the  FRA  staff  for  this  "former  3rd  pillar"  area  also  to  be  included  in  the 
Multiannual Framework of the FRA as well. The proposal by the Council for the new Multiannual 
Framework  of  the  FRA  for  years  2013-201769,  Art.  2,  however,  excludes  the  area  of  criminal 
matters from the competence of the FRA. 
 
While the question was not treated specifically during the evaluation, due to the pending proposal 
on  the  new  MAF,  the  potential  "gap"  in  the  Agency's  mandate  was  mentioned  in  several 
interviews, in particular with the FRA Management Board and Fundamental Rights Platform. The 
explicit  omission  in  the  MAF  of  justice  cooperation  in  criminal  matters  was  seen  to  restrict  the 
FRA's work in the field of fundamental rights in the EU. It could thus be discussed, whether it is 
reasonable for the area of criminal matters to be excluded from the competence of the FRA, who 
as the Fundamental Rights Agency of the EU has as an objective to support the full respect of the 
Charter,  by  providing  assistance  and  expertise  to  the  European  Union  and  its  Member  States. 
One example of this challenge concerns the subject for the 2012 Fundamental Rights Conference, 
"Justice in austerity: challenges and opportunities for access to justice". In this area, discussions 
have taken place with respect to the topic of Legal Aid, Sentencing and Punishment of Offenders 
Bill  from  the  UK,  and  inspired  by  this,  it  would  be  interesting  for  the  FRC  to  critically  appraise 
how  cuts  might  jeopardize  access  to  justice  but  also  where  they  may  bring  opportunities  for 
much  needed  reform.  This  shows  the  difficulty  of  distinguishing  the  theme  of  criminal  matters, 
not included in the MAF, from the theme of access to justice, which is covered by the MAF. 
 
Overall, the evaluation findings point towards a clearly favourable assessment in terms 
of  the  FRA's  ability  to  effectively  help  institutions,  bodies,  offices  and  agencies  of  the 
Union  to  ensure  full  respect  of  fundamental  rights  in  the  framework  of  the  Union  law. 
Even  though  the  judgement  criterion  of  70%  was  not  quite  met  among  the  EU  level 
stakeholders  (64.6%),  the  effects  have  been  positive.  The  findings  are  less  positive 
concerning  the  effects  at  the  national  level.  It  seems  that  some  developments  are 
currently  on  the  way  to  improve  this,  in  particular  with  more  active  communication 
with the NLOs concerning the needs of the Member States. 

 
3.3.2  To  what  extent  has  FRA  contributed  to  a  greater  shared  understanding  of  fundamental  rights 
issues in the  framework of Union law among policy/decision-makers and stakeholders in the EU 
and Member States? 
 
The evaluation question has been assessed by collecting stakeholder opinions in the survey, 
interviews as well as the case studies. For the survey a "judgement threshold" was set at 70 % 
positive answers.  
 
The  responses  to  the  external  survey  showed  that  external  stakeholders  considered  that  the 
FRA  has  enabled  a  better  understanding  of  fundamental  rights  in  Europe  among  the 
policy/decision-makers and stakeholders in the EU and Member States (see Table 14). This was 
shown by the fact that 80.5% of the respondents had, at least to some degree, gained a better 
understanding of fundamental rights as a result of the FRA's work.  
                                                
68 Consolidated Version of the Treaty on the Functioning of the European Union. OJ C 326, 26.10.2012, Art. 82-89. 
69 Proposal for a Council Decision establishing a Multiannual Framework for the European Union Agency for Fundamental 
Rights for 2013-2017 - Requesting the consent of the European Parliament, Interinstitutional File 2011/0431 (APP), 
31.5.2012. 
 

 
 
64
 
 
 
 
 
 
 
Table 14: Have you gained a better understanding of fundamental rights in Europe as a result of the FRA's work? N=303 
 
EUROPE
EUROPE
EU 
NATION
COUNCI
COUNCI
FUNDAM
FRANET 
NHRIs 
EQUALIT
Total % 
Total # 
AN 
AN 
AGENCI
AL 
L OF 
L OF EU 
ENTAL 

PARLIA
COMMIS
ES 
LIAISON 
EUROPE 
RIGHTS 
BODIES 
MENT 
SION 
OFFICER
PLATFO

RM 
 












To a very high 
0.0 
6.7 
5.0 
11.1 
0.0 
0.0 
6.9 
23.1 
12.5 
10.8 
8.6 
26 
degree 
To a high degree 
30.0 
40.0 
15.0 
33.3 
25.0 
0.0 
31.5 
46.2 
25.0 
35.1 
32.0 
97 
To some degree 
40.0 
36.7 
45.0 
27.8 
41.7 
100.0 
43.1 
15.4 
37.5 
45.9 
39.9 
121 
To a limited 
10.0 
6.7 
10.0 
11.1 
16.7 
0.0 
10.0 
0.0 
25.0 
5.4 
9.2 
28 
degree  
Not at all 
20.0 
3.3 
10.0 
11.1 
8.3 
0.0 
6.9 
7.7 
0.0 
2.7 
6.6 
20 
Do not 
0.0 
6.7 
15.0 
5.6 
8.3 
0.0 
1.5 
7.7 
0.0 
0.0 
3.6 
11 
know/cannot 
assess 
Total % 
3.3 
9.9 
6.6 
5.9 
4.0 
1.3 
42.9 
8.6 
5.3 
12.2 
100.0 
 
Total # 
10 
30 
20 
18 
12 

130 
26 
16 
37 
 
303 
 
The respondents provided numerous examples of cases, where the FRA had enabled a better understanding of fundamental rights in Europe. One respondent stated 
that "[...] I am very impressed by the amount of work which has been done in 5 years time. I think FRA complements well the other bodies, such as the Council of 
Europe, being often more detailed and targeted on specific issues
". More specifically, the respondents mentioned the Annual Reports and conferences, the EU-MIDIS 
survey, the work on access to justice, and reports on illegal migration. Several respondents did, however, point out that they were professionals working in the field of 
fundamental rights already before the establishment of the FRA, and had the feeling that they had not gained a better understanding of the field through the FRA's 
work. 
 
The respondents also agreed that the work of the FRA contributes to a greater shared understanding of fundamental rights in Europe. Some 3 out of 4 respondents 
(72.5%) either strongly agreed or agreed with the statement. The corresponding share was highest among the respondents representing other EU Agencies (85%), the 
European  Commission  (80%),  FRANET  (76.9%)  and  the  Council  of  Europe  (75%).  This  shows  that  the  survey  threshold  of  70%  positive  answers  was  met  in  both 
questions. 
 
 
 

 
 
65
 
 
 
 
 
 
Table 15: The work of the FRA clearly contributes to a greater shared understanding of fundamental rights in Europe N=302 
 
EUROP
EUROP
EU 
NATIO
COUNC
COUNC
FUNDA
FRANET  NHRIs 
EQUALI
Total %  Total # 
EAN 
EAN 
AGENCI
NAL 
IL OF 
IL OF 
MENTA
TY 
PARLIA
COMMI
ES 
LIAISO
EUROP
EU 

BODIES 
MENT 
SSION 


RIGHTS 
OFFICE
PLATFO
RS 
RM 
 












Strongly agree 
0.0 
16.7 
5.0 
11.1 
16.7 
0.0 
10.9 
23.1 
12.5 
21.6 
13.2 
40 
Agree 
60.0 
63.3 
80.0 
61.1 
58.3 
50.0 
62.0 
53.8 
56.2 
40.5 
59.3 
179 
Neither agree 
20.0 
20.0 
5.0 
27.8 
8.3 
25.0 
17.8 
11.5 
25.0 
21.6 
17.9 
54 
or disagree 
Disagree 
0.0 
0.0 
5.0 
0.0 
0.0 
25.0 
3.9 
7.7 
6.2 
2.7 
3.6 
11 
Strongly 
10.0 
0.0 
0.0 
0.0 
0.0 
0.0 
1.6 
0.0 
0.0 
0.0 
1.0 

disagree 
Do not 
10.0 
0.0 
5.0 
0.0 
16.7 
0.0 
3.9 
3.8 
0.0 
13.5 
5.0 
15 
know/cannot 
assess 
Total % 
3.3 
9.9 
6.6 
6.0 
4.0 
1.3 
42.7 
8.6 
5.3 
12.3 
100.0 
 
Total # 
10 
30 
20 
18 
12 

129 
26 
16 
37 
 
302 
 
One  respondent  pointed  out  that  "FRA  keeps  reminding  the  EU  about  how  many  different  questions  are  related  to  fundamental  rights.  FRA  asks  the  right 
persons/institutions to participate. They do not try to do all themselves, but are good at using others' knowledge to the best
". Moreover, a comment was made that 
"The work of the FRA clearly highlights the differences in interpretation of the fundamental rights in Europe, which can contribute to promote best practice and reduce 
the gaps
". Another respondent stated that "The work of the FRA is important, as it's currently the only actor which collects and compares data on the EU level." This 
opinion was shared by several respondents, and it was also pointed out that the FRA's work not only synthesises and assesses situations in the 27 EU Member States, 
but that the quality of their work also sets higher standards for the areas of fundamental rights, supporting a greater shared understanding of fundamental rights in 
Europe. 
 
 

 
  
66
 
 
 
 
 
 
The  interviewees  were  not  as  clearly  positive  in  their  assessment  of  the  ability  of  the  FRA  to 
contribute  to  a  greater  shared  understanding  of  fundamental  rights  issues.  The  most  important 
finding  from  the  interviews  was  that  the  work  of  the  FRA  seems  to  have  lifted  the  quality  and 
reliability  of  the  discussion  in  the  field  of  fundamental  rights,  in  particular  by  increasing  the 
knowledge-base of the civil society organisations working in this field. In addition to interviewees 
representing  the  civil  society,  this  was  also  confirmed  by  a  representative  of  the  European 
Parliament: 
 
"The  FRA  has  clearly  improved  the  level  of  reliability  and  quality  of  the  discussion  by  providing 
fact based comparative data to the NGOs which can formulate stronger arguments." 

 
Interviewees representing the European Commission and international organisations also pointed 
to the use of the FRA's work as an information source. In this way the level of understanding of 
fundamental rights has improved in Europe.  
 
"They  have  done  this  through  ensuring  the  availability  of  data  that  was  not  there  previously, 
providing sources for researchers, awareness, conferences and action plans." 

 
The  representatives  of  the  Member  States  were  more  concerned  about  the  impact  of  the  FRA's 
work  at  the  national  level.  The  NLOs  interviewed  pointed  out  that  while  there  is  now  a  good 
knowledge-base  and  interest  towards  the  work  of  the  FRA  and  the  general  area  of  fundamental 
rights  on  the  level  of  NLOs,  the  challenges  lie  in  getting  this  interest  and  information 
disseminated further in the national systems. 
 
"The challenge is on how to get others to see the importance of the FRA, to get them committed 
to  human  rights.  Our  division  is  very  committed,  so  it's  easy  for  us  to  see  the  value,  but  it's 
difficult to get others involved." 

 
"The lack of impact is a matter of internal organisation of each MS, and depends on the national 
decision-making. At the expert level the FRA is in the process of developing this approach. In the 
working party, we discuss various ways that FRA input could be used." 

 
Comparing these examples from the interviews to the survey findings, it seems however that the 
reality  is  somewhat  more  positive  than  that  exemplified  in  the  two  statements  above.  In  the 
survey  more  than  60%  of  the  NLOs  that  responded  agreed  that  the  work  of  the  FRA  clearly 
contributes to a greater shared understanding of fundamental rights in Europe. 
 
The case studies showed that the work of the FRA does seem to contribute to a greater shared 
understanding of fundamental rights issues in some concrete ways. The Annual Report of the FRA 
is  considered  to  be  widely  accessible  to  the  main  target  groups  for  the  report  (EU  institutions, 
MS, NGOs and other international organisations). However, there was little evidence concerning 
the  impact  of  the  Annual  Report  in  policy  development  and  decision-making.  Another  concrete 
aspect,  which  has  increased  the  shared  understanding  in  this  field,  is  the  Fundamental  Rights 
Conference  of  2011,  which  covered  the  topic  of  dignity  and  rights  of  irregular  migrants.  The 
findings  of  the  case  study  showed  that  as  this  conference  was  the  first  of  its  kind  to  cover  the 
issue  of  fundamental  rights  of  irregular  migrants,  its  impact  on  raising  awareness  of  this  topic, 
together with the three reports published on the topic, was high.   
 
 
 

 
  
67
 
 
 
 
 
 
 
Overall, the evaluation findings point towards a clearly favourable assessment in terms 
of  the  FRA's  ability  to  contribute  to  a  greater  shared  understanding  of  fundamental 
rights  issues  in  the  framework  of  Union  law  among  policy/decision-makers  and 
stakeholders  in  the  EU  and  Member  States.  The  judgment  criterion  of  70%  is  met  in 
both  relevant  survey  questions,  supported  by  the  findings  from  in  particular  the  case 
studies.  The  stakeholders  interviewed  were  more  modest  in  their  assessment,  but  it 
seems  that  the  quality  of  discussions  has  indeed  improved  due  to  the  FRA's  work. 
Some  work  remains  to  be  done  in  terms  of  mainstreaming  the  knowledge  from  the 
most  involved  national  authorities  and  NGOs  towards  the  broader  group  of  decision-
makers in the Member States. 

 
 
3.3.3  To what extent are the FRA’s stakeholders identified in the Founding Regulation (articles 6 – 10) 
satisfied with the responsiveness and availability of the research activities undertaken? 
 
The evaluation question has been assessed by opinions in the external survey and interviews with 
stakeholders. Furthermore the Stakeholder Review conducted by the FRA in 2011 has been taken 
into account. For the survey a "judgement threshold" was set at 70% positive answers. 
 
In  the  external  survey,  the  respondents  were  also  positive  concerning  the  availability  of  the 
FRA's research results, which is shown by the fact that 72.4% of the respondents either strongly 
agreed or agreed with the statement that "the FRA's research results are readily available to all 
relevant stakeholders". This means that the survey threshold of 70% positive answers was met. 
Figure 27: The FRA's research results are readily available to all relevant stakeholders N=304 
Strongly agree n=46
15,1%
Agree n=173
56,9%
Neither agree or disagree n=51
16,8%
Disagree n=17
5,6%
Strongly disagree n=1
0,3%
Do not know/cannot assess n=16
5,3%
0%
10%
20%
30%
40%
50%
60%
 
 
The  FRA  conducted  a  stakeholder  review  in  2011,  which  included  several  questions  on  the 
satisfaction  of  key  stakeholders.  The  results  showed  that  a  clear  majority  of  stakeholders  were 
satisfied  with  the  support  and  outputs  provided  by  the  Agency.  This  applied  to  ad  hoc  contacts 
via  e-mail  and  phone,  more  structured interaction  such  as  conferences  and  meetings  as  well  as 
the outputs, such as Annual Report and Thematic reports. 
 
The  stakeholder  interviews  confirmed  the  picture  from  surveys,  where  in  general  the 
stakeholders were highly positive regarding the collaboration with the FRA, as shown in the quote 
below from a Commission Official. 
 
 

 
  
68
 
 
 
 
 
 
"In my view it is the PEOPLE in the organisation that make the difference. They are really good. 
And the bosses let them do this – at least in my field we have this good informal direct 
cooperation. I think they are receptive to take up issues that the Commission recommends. An 
example could be the update of the detention study. On a scale from 0-10, FRA gets 10." 

 
Likewise  representatives  of  civil  society  who  are  in  contact  with  the  FRA  on  a  regular  basis 
commended  the  openness  and  receptiveness  of  the  organisation.  In  general  there  was  a  high 
satisfaction  also  with  the  events  conducted,  such  as  roundtables,  expert  meetings  and 
conferences. 
 
The  communication  of  research  results  was  increasingly  seen  as  a  strong  component  in  the 
Agency's work, as illustrated by the quote below from an international organisation. 
 
"I think one of the ways in which they are doing this is that they have mastered evidence-based 
communication.  Not  going  into  comprehensive  multi-hundred  page  reporting,  but  smaller 
publications  with  precise  messages,  opening  to  future  follow-up  questions,  asking  questions  is 
sometimes more important than answering, wise way of doing things." 

 
While  the  Member  State  representatives  were  a  bit  less  cautious  as  to  the  use  of  FRA  outputs, 
the availability was not considered an issue as such. Issues in terms of dissemination of language 
were mentioned, as the FRA's full publications are available in English, German and French, and 
only sometimes in other languages, depending on the specific relevance of Report for the country 
concerned. Due to workload the publication of the German and French versions of the reports can 
take significantly longer than the publication of the original version of the report in English. The 
Agency attempts to remedy this by developing shorter so called fact sheets which are translated 
into the majority of the official languages of the EU and by informing the Member States of their 
existence, but for certain stakeholders this is not sufficient, as illustrated by the quote below. 
 
"It [the FRA] contributes, but depends on how the Agency makes itself visible. Impact of FRA in 
[my country] is not very big; most people have not heard of FRA, the Agency is not at all visible 
in the debate, mainly due to language and lack of knowledge." 

 
Based  on  the  findings  it  can  be  concluded  that  the  general  satisfaction  with  the 
Agency's  work  is  high,  and  the  organisation  is  seen  as  accessible  and  responsive  to 
stakeholders needs. The Agency is actively disseminating and communicating research 
results  and  the  main  barriers  to  further  dissemination  seem  to  be  the  dissemination 
channels,  i.e.  that  the  publications  are  effectively  disseminated  also  in  the  Member 
States by the NLOs and the publication language. 

 
3.3.4  To  what  extent  are  FRA’s  outputs  suitable  to  the  needs  of  its  stakeholders  in  particular  of  the 
relevant institutions, bodies, offices and agencies of the Union and its Member States? 
 
The evaluation question has been assessed by collecting stakeholder opinions in the survey, 
interviews as well as the case studies. The findings have also been assessed taking into account 
views of the FRA staff collected during group interviews. For the survey a "judgement threshold" 
was set at 70 % positive answers.  
 
The  external  survey
  results  showed  that,  overall,  the  respondents  were  very  positive 
concerning the FRA's outputs in the form of publications. As can be seen from Figure 28 below, a 
total of 74.3% of the respondents considered the FRA's publications to be either very relevant or 
quite relevant to their work, and there were no respondents to whom the FRA's publications are 
not  relevant  at  all.  This  means  that  the  survey  threshold  of  70%  positive  answers  was  met. 
Looking at the main EU-level stakeholders, it can be seen that the FRA's publications are relevant 
in  particular  to  representatives  of  the  European  Parliament  and  the  European  Commission. 
Moreover,  almost  85%  of  the  respondents  representing  the  Council  of  Europe  consider  the 
publications  either  very  or  quite  relevant  to  their  work.  In  contrast,  the  relevance  is  not 
 

 
  
69
 
 
 
 
 
 
considered to be as high among the respondents representing the EU Agencies (44.4% consider 
the publications to be very or quite relevant to their work).70  
Figure 28: How relevant are the FRA’s publications to your work? N=308  
EUROPEAN PARLIAMENT 
66,7%
22,2% 11,1%
n=9
EUROPEAN COMISSION 
36,7%
50,0%
10,0%
n=30
EU AGENCIES n=18
11,1% 33,3%
38,9%
NATIONAL LIAISON  15,8%
47,4%
21,1%
OFFICERS n=19
Very relevant n=103
COUNCIL OF EUROPE n=13
38,5%
46,2%
15,4%
Quite relevant n=126
Som ewhat relevant n=60
COUNCIL OF EU n=4
25,0%
75,0%
Of lim ited relevance n=15
FUNDAMENTAL RIGHTS 
28,8%
45,5%
18,9%
Not relevant at all n=0
PLATFORM n=132
Do not know/cannot assess 
FRANET n=26
n=4
61,5%
26,9%
11,5%
NHRIs n=16
31,3%
31,3%
31,3%
EQUALITY BODIES n=41
41,5%
36,6%
17,1%
TOTAL N=308
33,4%
40,9%
19,5%
0%
20% 40% 60% 80% 100%
 
 
At  the  national  level,  the  publications  are  most  relevant  for  the  work  of  the  Equality  Bodies 
(78.1% consider them to be very or quite relevant), but somewhat less relevant to the National 
Liaison Officers (63.4%) and National Human Rights Institutes (62.6%). 
 
In  the  stakeholder  interviews  the  FRA  outputs  received  mainly  positive  comments.  Many 
stakeholders considered that the FRA is indeed able to respond to the needs of the stakeholders 
with its data. For example, a representative of the European Commission stated that:  
 
                                                
70 The majority of the respondents representing the EU Agencies come from the Agencies in the field of Justice and Home 
Affairs with whom the FRA is in close cooperation, but it should be acknowledged the 18 respondents also consist of persons 
working for other Agencies, that are not expected to be working as closely together with the FRA as the JHA Agencies. 
 

 
  
70
 
 
 
 
 
 
"In general the FRA is able to work in the fields where there is a need for data i.e. they are able 
to  respond  to  the  needs  of  the  stakeholders.  The  annual  work  programme  is  based  on 
consultation and the products are in general useful." 

 
Some  concrete  areas,  where  the  outputs  have  responded  to  their  needs  and  mentioned  by  the 
interviewees  were  the  FRA's  work  in  the  field  of  racist  crime,  joined-up  governance  and 
fundamental rights of LGBT persons. Some NLOs, however, also pointed out that the relevance of 
the  outputs  differs  from  one  field  to  another,  which  is  understandable  considering  the  differing 
national  contexts  in  the  Member  States.  More  concretely,  on  the  format  of  the  outputs,  it  was 
mentioned that the FRA has developed in terms of providing short newsletters instead of always 
sending  out  long  reports.  This  provides  the  NLOs  the  possibility  to  select  the  important 
information and forward it in a short format to their colleagues.  
 
As  the  survey  results  also  showed,  more  than  70%  of  the  representatives  of  the  civil  society 
found the outputs to be relevant. This was supported by an interviewee, who explained that:  
 
"Having  the  backing  of  a  reliable  and  trusted  source  of  information  has  strongly  increased  the 
strength of the arguments that the actors are able to make in their pursuit for the recognition of 
fundamental rights of LGBT persons. [...] the highest value added is the data itself. " 

 
The  FRA  staff  commented  on  the  usefulness  of  their  outputs  to  the  stakeholders  from  several 
different points of view. On the one  hand, it was stated that there is a need to concentrate the 
work of the Agency – not necessarily to limit the mandate, but to concentrate the efforts on the 
areas,  where  the  Agency  can  provide  the  biggest  added  value.  The  Agency  should  thus  only 
concentrate on areas where there are not many stakeholders present providing data as of yet. At 
the same time, it was mentioned that often information on data gaps and needs only arises once 
the research has already been kicked off. It was mentioned that the FRA research is also needed 
in areas, where no gaps have yet been identified, as they may still exist. 
 
The  conclusions  from  the  case  studies  showed  an  equally  positive  assessment  concerning  the 
relevance of the FRA outputs to the stakeholders. In the field of homophobia and discrimination 
on  grounds  of  sexual  orientation  and  gender  identity,  all  respondents  were  positive  concerning 
the relevance of the work of the FRA in this area. In the field of fundamental rights of irregular 
migrants,  the  respondents  were  mainly  positive,  but  the  relevance  of  the  outputs  depended 
highly on the respondents' concrete field of expertise. What could be seen, however, was that the 
work  in  this  field  was  found  to  be  relevant  by  stakeholders  representing  EU  institutions, 
international organisations, Member States and civil society. 
 
Overall, the evaluation findings point towards a clearly favourable assessment in terms 
of the suitability of the FRA's outputs to  the needs of its  stakeholders. The judgement 
threshold  of  70%  was  clearly  met  in  the  stakeholder  survey  and  no  respondent 
considered the publications not to be relevant at all. The positive assessment was also 
shared  by  the  interviewees  in  stakeholder  interviews  and  case  studies.  Some 
comments  indicated  that  the  FRA  has  changed  the  format  of  the  outputs,  in  particular 
in  terms  of  providing  more  information  in  a  more  condensed  format  (i.e.  tailored 
newsletters,  fact  sheets  summarising  main  findings  of  a  report)  and  directing  the 
outputs of their work increasingly towards the wishes of the Member States. 

 
 
3.3.5  To  what  extent  have  publications  on  project  results  been  taken  into  account  by  relevant  EU, 
national and local actors on Fundamental Rights issues? 
 
The evaluation question has been assessed by collecting stakeholder opinions in the survey, 
interviews as well as the case studies. Furthermore, the results of stakeholder review organised 
by the FRA in 2011 has been considered. For the survey a "judgement threshold" was set at 70 
% positive answers.  
 
 

 
  
71
 
 
 
 
 
 
Based on the survey results, respondents assessed that the FRA's publications are particularly 
successful in informing and assisting decision-making at the EU level. This is to a high extent in 
accordance with the FRA's mandate, which is on the one hand to provide the institutions, bodies, 
offices  and  agencies  of  the  Community  with  assistance  and  expertise  relating  to  fundamental 
rights71.  More  than  half  (58%)  of  the  respondents  either  strongly  agreed  or  agreed  with  the 
statement  that  the  FRA's  publications  inform  and  assist  decision-making  at  EU  level.  While  this 
result does not fulfil the survey threshold of 70% positive answers, the positive results were even 
more apparent when looking more specifically at the responses provided by the EU institutions72, 
whose  work  the  publications  should  inform  and  assist.  Here  72.1%  of  the  respondents  either 
strongly agreed or agreed with the above statement, which is above the threshold of 70%.  
Figure 29: The FRA's publications inform and assist decision-making at EU level N=302 
11,6%
Strongly agree
13,1%
46,4%
Agree
59,0%
22,5%
Neither agree or disagree
13,1%
All respondents n=302
4,0%
Disagree
EU institutions n=61
4,9%
0,3%
Strongly disagree
1,6%
15,2%
Do not know/cannot assess
8,2%
0%
10% 20% 30% 40% 50% 60% 70%
 
 
In  open  answers,  the  respondents  mentioned  that  access  to  objective  data  from  the  FRA  is 
important  for  the  EU-level  decision-makers.  The  FRA  survey  on  violence  against  women  was 
provided  as  an  example  of  research  that  would  probably  not  be  conducted  by  the  other  EU 
institutions or the Member States, but which is important information for policy-makers at the EU 
level. Other specific mentions were the EU MIDIS survey73 and the Homophobia Report74. 
 
The  respondents  were  more  hesitant  concerning  the  ability  of  the  FRA's  publications  to  inform 
and assist decision-making at national and local levels. While the publications were considered to 
inform and assist decision-making at national level according to 29.4% of the respondents, at the 
local level this was the case according to 12.3% of the respondents. The results of both questions 
are presented below, highlighting the views of some of the most relevant respondent groups per 
question. 
                                                
71 Regulation 168/2007, Art. 2. 
72 European Commission, European Parliament, the Council of the EU and the EU Agencies. 
73 European Union Minorities and Discrimination Survey. See: http://fra.europa.eu/fraWebsite/eu-midis/index_en.htm.  
74 Homophobia, transphobia and discrimination on grounds of sexual orientation and gender identity in the EU Member 
States. See: 
http://fra.europa.eu/fraWebsite/research/publications/publications_per_year/fra_homophobia_synthesis_en.htm.  
 

 
  
72
 
 
 
 
 
 
Figure 30: The FRA's publications inform and assist decision-making at national level N=30275 
2,6%
Strongly agree
1,3%
26,8%
Agree
32,0%
35,4%
Neither agree or disagree
40,0%
All respondents n=302
13,6%
Disagree
National authorities n=75
13,3%
3,0%
Strongly disagree
1,3%
18,5%
Do not know/cannot assess
12,0%
0%
10% 20% 30% 40% 50%
 
 
While  the  national  level  stakeholders  were  somewhat  more positive towards the  FRA's  ability  to 
inform  and  assist  decision-making  at  the  national  level  (see  Figure  30)  than  the  overall 
responses,  the  results  indicate  challenges  for  the  FRA  in  providing  the  Member  States  with 
assistance  and  expertise  relating  to  fundamental  rights  when  implementing  Community  law. 
Positive examples of  the  FRA's  ability  to  inform  and assist  decision-making  at the  national level 
include the EU-MIDIS survey, the Housing  Conditions of Roma and  Travellers in the EU and the 
FRA's  work  in  the  field  of  irregular  migrants  and  asylum.  On  the  negative  side,  respondents 
mentioned  in  open  answers  that  with  respect  to  using  the  results  at  the  national  level,  the 
research is untimely, the level of details is not sufficient, or that the publications are not known 
and read by decision-makers at the national level. 
 
With  respect  to  the  ability  of  the  FRA  publications  to  inform  and  assist  decision-making  at  the 
local level (see Figure 31), it could be seen that the respondents representing the Fundamental 
Rights  Platform  (whose  member  NGOs  can  in  some  cases  provide  an  insight  into  the  local level 
through  their  member  organisations  at  the  local  level)  provided  a  slightly  more  positive 
assessment concerning the impact of the FRA publications at the local level than all respondents 
taken together.  
Figure 31: The FRA's publications inform and assist decision-making at local level N=302 
0,7%
Strongly agree
0,8%
11,6%
Agree
14,0%
33,8%
Neither agree or disagree
32,6%
All respondents n=302
19,2%
Disagree
Fundamental Rights Platform 
19,4%
n=129
7,0%
Strongly disagree
10,1%
27,8%
Do not know/cannot assess
23,3%
0%
10%
20%
30%
40%
 
                                                
75 The group "national authorities" encompasses the responses by National Liaison Officers, NHR and equality bodies.  
 

 
  
73
 
 
 
 
 
 
 
The stakeholders interviewed mentioned some examples of the ways in which the publications on 
project results had been taken into account by relevant EU, national and local actors. A Member 
State representative stated for example that  
 
"The  handbook  on  anti-discrimination  is  very  useful  –  these  kinds  of  products  can  be  of  very 
much  assistance  for  the  national  level.  Also  the  political  participation  report  was  used  by  our 
department.  As  regards  their  other  reports,  I  would  not  say  that  they  are  not  used,  but  rather 
say that I don't know to what extent they are used." 

 
A  representative  of  the  civil  society  praised  the  availability  of  the  data  in  general,  but  found  it 
difficult to assess the extent to which the FRA contributes to a more evidence-informed policy. 
 
"The  fact  that  there  is  much  more  data  available  makes  it  very  difficult  for  decision  makers  to 
ignore it when making decisions. The use of evidence is being supported by a lot of voices and it 
is difficult to pin-point how strong FRA’s contribution to this evidence argument is. However, the 
fact that the evidence is there is a prerequisite for the argument to take place." 

 
The  low  visibility of  the  FRA  at  the  local level  was mentioned by  a  member of  the  Management 
Board: 
 
"FRA  is  not  sufficiently  known  or  recognised  outside  of  the  key  stakeholder  circle.  For  example 
some  research  could  be  very  interesting  for  local  or  regional  actors,  such  as  research  on 
education,  housing  etc,  where  the  services  to  vulnerable  groups  are  delivered.  These 
stakeholders do generally not know the FRA or their publications, which is a pity since most likely 
the knowledge could be useful to them." 

 
The case studies provided relatively positive findings concerning the use of the FRA publications 
on  project  results  by  the  EU,  national  and  local  actors  on  fundamental  rights  issues.  While  the 
work  on  violence  against  women-survey  is  not  finalised  yet,  all  respondents  were  positive 
towards  the  future  usability  of  the  work.  In  the  field  of  homophobia  and  discrimination  on 
grounds of sexual orientation and gender identity, the work of the FRA was found groundbreaking 
and it was agreed by the respondents that the existence of such evidence was a pre-requisite for 
evidence-based  decision-making.  The  work  of  the  FRA  in  the  field  of  fundamental  rights  of 
irregular migrants had been used in particular by the civil society organisations, who stated that 
the  reports  are  important  as  they  provide  more  in-depth  evidence  about  the  situation  in  the 
Member  States  both  legally  and  in  practice.  They  also  found  it  important  that  the  reports  are 
produced  by  an  EU  agency  and  that  the  FRA  opinions  include  recommendations  for  actions  by 
different actors. The work of the FRA had also been used by respondents at the EU and national 
levels.  The  case  on  Roma  and  travellers  showed  that  evidence  provided  has  been  extensively 
referred to and used in the development of policy documents as well as in the policy negotiations. 
 
In order to balance the findings from the evaluation, the results of the stakeholder review carried 
out  by  the  FRA  in  2011  were  also  considered.  In  the  survey,  the  stakeholders  were  asked  to 
assess  to  what  extent  their  work  had  been  influenced  by  the  FRA.  While  this  is  not  necessarily 
only relevant concerning the influence of the FRA publications, it is interesting to see that 61% of 
the respondents had been influenced as least to some degree by the work of the FRA. Among the 
representatives  of  the  institutions  and  agencies  of  the  EU  the  corresponding  figure  is  59.5%, 
while  it  is  56.5%  among  the  institutions  and  agencies  of  the  Member  States.  The  evaluation 
findings thus show a stronger impact among the EU level stakeholders. 
 
 
 

 
  
74
 
 
 
 
 
 
 
Overall,  the  evaluation  findings  point  towards  a  somewhat  positive  assessment 
concerning the extent to which the FRA publications on project results have been taken 
into  account  by  relevant  EU,  national  and  local  actors  on  fundamental  rights  issues. 
While the judgement criteria threshold was exceeded among the EU-level respondents 
in  the  survey,  the  results  were  much  less  positive  among  the  national  and  local  level 
respondents. The findings are to some extent consistent with the mandate of the FRA, 
which  clearly  states  that  the  Agency  shall  provide  the  relevant  institutions,  bodies, 
offices  and  agencies  of  the  Community  and  its  Member  States  when  implementing 
Community  law  with  assistance  and  expertise  relating  to  fundamental  rights76.  The 
case studies did, however, show a somewhat more positive picture also concerning the 
use of the publications by national level stakeholders. Similarly, among the civil society 
representatives, in particular the EU/international level NGOs are using the work of the 
FRA,  but  it  does  not  seem  that  the  results  are  disseminated  actively  enough  towards 
the local level. 

 
3.3.6  To what extent has general awareness of fundamental rights issues in the European Union and its 
Member  States  when  implementing  Union  law  been  raised  among  the  general  public  and 
specific/vulnerable groups? 
 
The evaluation question has been assessed by collecting stakeholder opinions in the survey and 
in  stakeholder  interviews.  For  the  survey  a  "judgement  threshold"  was  set  at  70  %  positive 
answers.  
 
In the external survey, two specific questions referred to the increase in awareness concerning 
fundamental rights among the general public and specific/vulnerable groups. On a more general 
level,  the  survey  respondents  had  some  difficulties  assessing  whether  issues  regarding 
fundamental  rights  in  the  EU  are  better  understood  today  than  before  the  FRA  was  established 
(see Figure 32). Almost half (47.9%) of the respondents neither agreed nor disagreed; or did not 
know/could not assess whether this was the case. While 45.8% either strongly agreed or agreed, 
there  were  only  a  few  respondents  who  clearly  disagreed  with  the  statement.  Very  few 
respondents  provided  open  comments  concerning  their  difficulties  to  assess  the  situation,  with 
some respondents pointing out that it is still too early to tell, whether the FRA has had an impact 
to this end.  
Figure  32:  Issues  regarding  fundamental  rights  in  the  EU  are  better  understood  today  than  before  the 
FRA was established N=301 

Strongly agree n=28
9,3%
Agree n=110
36,5%
Neither agree or disagree n=86
28,6%
Disagree n=17
5,6%
Strongly disagree n=2
0,7%
Do not know/cannot assess n=58
19,3%
0%
5% 10% 15% 20% 25% 30% 35% 40%
 
 
                                                
76 Regulation 168/2007, Art. 2. 
 

 
  
75
 
 
 
 
 
 
On a more specific level, only 48% of the respondents either strongly agreed or agreed with the 
statement that the FRA's work has contributed to raising awareness of fundamental rights issues 
in  the  European  Union  and  its  Member  States  among  the  general  public  and  specific/vulnerable 
groups (see Figure 33). Once again, it could be seen that a high share of the respondents neither 
agreed nor disagreed with the statement (28.1%) or did not know/could not assess (13.9%). In 
particular  the  national  liaison  officers  (22.2%)  and  the  European  Commission  (22.2%)  did  not 
know or felt that they were not in a position to assess the awareness-raising among the general 
public  and  specific/vulnerable  groups.  The  share  of  those  neither  disagreeing  nor  agreeing  was 
the  highest  among  the  equality  bodies  (45.9%)  and  the  national  human  rights  institutes 
(37.5%). This is interesting, as it shows that even the national level stakeholders do not have a 
clear  picture  of  the  contribution  of  the  FRA's  work  on  raising  awareness  of  fundamental  rights 
issues among the general public and specific/vulnerable groups.77 
Figure  33:  The  FRA’s  work  has  contributed  to  raising  awareness  of  fundamental  rights  issues  in  the 
European Union and its Member States among the general public and specific/vulnerable groups N=302 

Strongly agree
7,6%
Agree
40,4%
Neither agree or disagree
28,1%
Disagree
8,3%
Strongly disagree
1,7%
Do not know/cannot assess
13,9%
0%
10%
20%
30%
40%
50%
 
 
Meanwhile, those agreeing most strongly with the statement were the representatives of Council 
of Europe (75% strongly agreed or agreed) and the EU Agencies (65%). In general, however, the 
survey threshold of 70% positive answers was not met. 
 
The  stakeholder  interviews  supported  the  above  picture,  with  several  Member  State 
representatives  stating  that  it  is  difficult  to  assess,  whether  the  FRA's  work  has  had  an  impact 
among  the  general  public  and  specific/vulnerable  groups.  The  respondents  agreed  that  the  FRA 
and  its  work  is  well-known  among  the  national-level  stakeholders,  but,  as  a  national  liaison 
officer put it, "[...] for the persons outside it's not well known." 
 
Another NLO stated that:  
 
"People do not know that there is a FRA. Now the FRA is one of the most mentioned institutions 
among NGOs and local governments, but this is seen from the point of view of people who work 
with human rights and not the general public." 

 
Interestingly, one NLO pointed out that:  
 
"National  human  rights  institutions  and  the  fundamental  rights  platform  are  the  main  avenues 
from FRA to the general public." 

 
                                                
77 It should be emphasised that the evaluators refer here to contribution, i.e. whether or not the FRA's work can be one of 
the reasons for an observed change in the Member States, and not of attribution, i.e. the proportion of change that can be 
directly attributed to the work of the FRA. 
 

 
  
76
 
 
 
 
 
 
This  statement  is  interesting  in  view  of  the  findings  from  the  survey,  where  a  high  share  of 
respondents  representing  the  human  rights  institutions  (37.5%)  and  the  FRP  (30.2%)  neither 
agreed  nor  disagreed  with  the  statement  that  the  FRA's  work  has  been  able  to  increase 
awareness of the fundamental rights issues among the general public.  
 
However, taking into account the FRA's mandate, where the general public is not one of the main 
target audiences, it can be considered that the FRA's task is rather to influence the awareness of 
fundamental  rights  through  its  interaction  with  and  information  dissemination  among  the  key 
stakeholders at the national level. Whether the actors at the national level are successful in their 
dissemination of  the  FRA's  work  and  awareness  of  fundamental  rights to  the general  public  and 
the vulnerable groups in the Member States, should thus not have an impact when assessing the 
successfulness of the FRA's work. As the findings with respect to the interaction between the FRA 
and key stakeholders at the national level were clearly positive (see section 3.3.2 above), "spill-
over" effects towards the general public in the Member States seem likely.  
 
Overall, it is not possible to conclude that the general awareness of fundamental rights 
issues has increased in the European Union and its Member States when implementing 
Union  law  among  the  general  public  and  specific/vulnerable  groups  through  the  work 
of the FRA.  
 
The above findings are, however, well in balance with the official mandate of the FRA, 
where  the  general  public  is  not  one  of  the  main  target  audiences.  From  this  point  of 
view, it seems reasonable to assume that an increased awareness among the national-
level  stakeholders  will  lead  to  an  increased  awareness  also  among  the  general  public 
and  specific/vulnerable groups. The evaluation findings show that the FRA's work  has 
indeed  led  to  an  increased  understanding  of  the  fundamental  rights  issues  among 
policy/decision-makers and stakeholders. 

 
 
3.4 
Added value: To what extent has the FRA been more effective and efficient in achieving 
its  results  and  impacts  compared  to  other  existing  or  possible  national-level  and  EU-
level arrangements? 
 
3.4.1  To what extent has the FRA been more effective in achieving its results and impacts compared to 
other existing or possible national-level and EU-level arrangements (e.g. implementation by the 
Commission itself, an executive agency, other agencies and organisations, the Member States, as 
well  as  by  other  non-institutional  stakeholders  active  in  the  field  of  fundamental  rights)  in  the 
light of the Agency’s specific mandate? 
 
The  evaluation  question  has  been  assessed  by  collecting  stakeholder  opinions  in  the  survey, 
interviews as well as the case studies. For the survey a "judgement threshold" was set at 70 % 
positive answers. Furthermore the assessment takes into account self-assessments by FRA staff 
collected through group interviews. 
 
The results of the external survey showed that the majority of the survey respondents (64.4%) 
were  of the  opinion that  if  the  FRA  did  not  exist, similar  EU level  data  on  fundamental  rights in 
the EU would not be collected (see Figure 34). Even though this result does not reach the target 
of 70%, it can still be considered a relatively positive finding. 
 

 
  
77
 
 
 
 
 
 
Figure 34:  If  the FRA did  not  exist,  similar  EU level  data  on  fundamental  rights in the  EU would not  be 
collected N=301 

EUROPEAN PARLIAMENT 
10,0%
30,0%
40,0%
n=10
EUROPEAN COMMISSION  10,0%
33,3%
26,7%
20,0%
n=30
EU AGENCIES n=20
5,0%
50,0%
20,0%
15,0%
Strongly agree
NATIONAL LIAISON 
22,2%
38,9%
16,7%
11,1%
OFFICERS n=18
Agree
COUNCIL OF EUROPE 
8,3%
41,7%
16,7%
16,7%
n=12
Neither agree or 
disagree
COUNCIL OF EU n=4
100,0%
Disagree
FUNDAMENTAL RIGHTS  14,8%
52,3%
19,5%
7,8%
PLATFORM n=128
Strongly 
disagree
FRANET n=26
61,5%
30,8%
7,7%
Do not 
know/cannot 
assess
NHRIs n=16
31,3%
43,8%
18,8%
EQUALITY BODIES n=37
18,9%
43,2%
16,2%
13,5%
TOTAL N=301
18,9%
45,5%
18,9%
9,6%
0%
20%
40%
60%
80%
100%
 
 
The  respondents  who  were  positive  about  the  FRA's  added  value  stated  for  example  that  "[...] 
without  the  FRA  these  issues  would  be  "forgotten"  and  not  prioritised  by  any  other  body,  in 
particular  as  regards  taking  the  holistic  and  Europe-wide  approach  to  fundamental  rights
." 
Another  respondent  stated  that  "The  continued  focus  by  the  FRA  on  collecting  comprehensive 
data  is  welcome.  Limited  data  collection  and  dissemination  activities  by  the  FRA  in  2011  left  a 
noticeable "hole" in certain information areas
." There were, however, also respondents, who did 
not  see  the  added  value  in  the  FRA's  work.  One  respondent  pointed  out  that  "Data  collection 
could  also  be  carried  out  by  academic  and/or  national  human  rights  institutions,  pooling  their 
resources and benefitting from external funding
". Another respondent stated that there are other 
organisations  in  the  area  of  disabilities,  which  are  already  collecting  better  and  more 
comprehensive data.  
 
However,  despite  some  negative  statements,  only  12.9%  of  the  respondents  either  strongly 
agreed  or  agreed  with  the  statement  that  other  existing  institutions  could  most  likely  carry  out 
the  data  collection  of  the  FRA  as  well  or  even  better  with  additional  funds,  as  Figure  35  below 
shows.  41.2%  of  the  respondents  either  disagreed  or  strongly  disagreed.  A  large  share  of 
respondents neither agreed nor disagreed (31.2%) or did not know/could not assess (14.6%). 
 
 
 

 
  
78
 
 
 
 
 
 
 
Figure 35: Other existing institutions could most likely carry out the data collection of the FRA as well or 
even better with additional funds N=301 

Strongly agree n=7
2,3%
Agree n=32
10,6%
Neither agree or disagree n=94
31,2%
Disagree n=96
31,9%
Strongly disagree n=28
9,3%
Do not know/cannot assess n=44
14,6%
0%
5%
10% 15% 20% 25% 30% 35%
 
 
There were no concrete trends in terms of which groups of respondents assessed the added value 
of the FRA more positively and which more negatively.  
 
The interviews showed a more positive picture concerning the added value of the FRA than the 
survey. In particular, the ability of the FRA to conduct comparative studies, covering the whole of 
the EU was considered to be unique. None of the respondents considered that this task should be 
carried  out  by  any  other  actor  in  this  field.  This  view  was  shared  by  representatives  of  EU 
institutions,  Member  States  and  international organisations,  and  supported  by  the  FRA  staff.  An 
interviewee representing an international organisation pointed out that  
 
"In terms of making comparative research and providing information on the European level there 
is no other organisation that is strong enough to do that. Another possible place would be the 
Council of Europe but they don't have the capacity to do the work that the FRA does."  

 
Another point made by the interviewees was the more general need for an EU agency working in 
the field of human rights. Several interviewees pointed out that an organisation, such as the EU, 
needs  a  separate  agency  working  in  the  field  of  fundamental  rights  if  it  wants  to  highlight  and 
emphasise its commitment towards fundamental rights.  
 
"It's important to have an organisation that is concentrating all activities in one place, one stop 
shop in the area of human rights. It improves the level of professionalism, the weight of the 
message." 

 
A limited number of respondents questioned the role of the Agency, in particular with respect to 
its impact at the national level in the Member States. In some countries, where there is no clear 
focus on using European comparative studies in the development of national policies, the work of 
the Agency is not found as useful as in some of the Member States.  
 
"We have no reliable indicator showing the usefulness of the Agency's work in [...]. Not because 
their work is not interesting; the point is that we have many official and unofficial organisations 
that publish reports about these topics in […]. We have a Ministry in charge of people with 
disabilities. The […] stakeholders consider in their activities that they don't need the data of the 
Agency. Our concern is to spread information from the reports, to give information to 
organisations, in order to increase the awareness of the Agency." 

 
 

 
  
79
 
 
 
 
 
 
However,  even  though  some  respondents  stated  that  the  functions  of  the  FRA  could  have  been 
taken  up  by  other  organisations,  the  comments  were  often  balanced  by  acknowledging  the  risk 
that the focus on fundamental rights and the European comparative perspective would be lost. 
 
The  interviewed  FRA  staff  provided  some  examples  of  their  views  on  the  added  value  of  the 
Agency, which are well in line with the above findings. It was for example mentioned that being 
an EU Agency is an advantage when collecting data on many of the topics, and using an EU logo 
in the research gives it an added emphasis. The comparative research was also mentioned: 
 
"We have the ability to collect evidence on the ground. Many areas where we collect data some 
countries have done good work and others not at all, so we bring them to the same level and 
then provide the EU comparison." 

 
The  findings  of  the  case  studies  strongly  supported  the  positive  findings  from  the  interviews. 
For  example  in  the  field  of  LGBT  rights,  the  respondents  considered  the  work  of  the  FRA  to  be 
groundbreaking, and saw the FRA as a unique (or one of the very few) source of information with 
regard  to  providing  comparative  information  of  the  legal  and  social  situation  of  LGBT  people  in 
the  EU.  In  the  field  of  irregular  migration,  it  was  mentioned  that  it  is  crucial  from  a  European 
point of view to have an agency with the rights-based perspective on irregular migration, as the 
political  perspective  is  often  more  that  of  enforcement  and  migration  management.  An 
interviewee pointed out that the FRA brings solid research to the issue of fundamental rights of 
irregular  migrants  and  that  it  is  important  that  the  FRA  continue  to  have  the  freedom  to  do 
objective  reporting.  Having  both  an  official  mandate  and  being  objective  is,  according  to  this 
interviewee, unique. It was also pointed out that the FRA has a lot of credit as an EU institution 
and that this helps to bring up the issue in the Member States as well. It was also mentioned that 
the  FRA  should  indeed  play  an  important  role  in  the  communication  and  distribution  of  good 
practices between the Member States. In the field of violence against women, the Commission's 
point  of  view  was  that  the  topic  would  in  the  long  run  be  more  suitable  to  the  remit  of  the 
European Institute for Gender Equality (EIGE), but as the EIGE was not ready to carry out such a 
large piece of work yet, the decision by the FRA to take up the topic is highly appreciated by the 
Commission. This decision was taken following discussions between EIGE and the FRA.  
 
Overall, the evaluation findings point towards a favourable assessment in terms of the 
FRA  being  more  effective  in  achieving  its  results  and  impacts  compared  to  other 
existing  or  possible  national-level  and  EU-level  arrangements.  While  the  70% 
judgement criterion was not met in the survey, the stakeholder interviews were highly 
positive concerning the ability of the FRA to reach this objective. 
 
The  FRA  is  considered  to  be  in  a  unique  role  as  a  provider  of  comparative,  EU-wide 
studies.  The  FRA  concentrates  on  topics  that  are  not  covered  by  other  similar  actors, 
and its role as an EU institution gives its work additional backing. Some limited voices, 
in particular at the national level, do consider  that the  work  of the FRA could to  some 
extent be carried out by other institutions. 

 
 
3.4.2  To  what  extent  have  the  effects  been  achieved  at  lower  costs  because  of  the  Agency's 
intervention? 
 
The evaluation question has been assessed by collecting stakeholder opinions mainly in 
interviews, but also to some extent in the case studies. 
 
Most interviewees could not point to concrete cost savings that have been reached in achieving 
effects in the field of fundamental rights due to the Agency's intervention. Some examples were 
however  mentioned,  where  the  lack  of  duplication  of  work  has  led  to  smaller  costs  in  the 
European Commission, in the Member States or in an international organisation.  
 
The work of the Agency has for example been used as background data in the development of a 
national policy of a Member State, and the availability of this data has led to cost-savings. 
 

 
  
80
 
 
 
 
 
 
 
"We  used  a  lot  of  the  work  of  the  FRA  when  developing  one  of  the  corner-stone  documents  of 
[...] policy in the field [...]. Some of the studies, such as EU-MIDIS, gave us a lot of information 
and helped us put the picture in place to do a strategy and develop policy options. You could say 
this has led to cost-savings as the data was available to us." 

 
The  data  collected  by  the  Agency  and  their  inputs  to  relevant  reports  by  international 
organisations are also proving helpful and lead to some cost-savings. 
 
"Provision of inputs and data – we don't need to hire a consultant to retrieve the data and this is 
helpful." 

 
The  Commission  representatives  also  acknowledged  the  positive  effects  when  duplication  of 
efforts has been avoided: 
 
"Yes, it is cost saving that different services work together and use the same data." 
 
The case studies did not provide any evidence either for or against the statement that effects 
had  been  achieved  at  lower  costs  because  of  the  Agency's  intervention.  As  the  analysis  of  the 
previous subquestion shows, the FRA is  working in  many  fields in a way that is not possible for 
other  institutions.  There  are  also  some  savings  to be  found  in  the  lack  of  duplication  of  efforts. 
The FRA is undertaking comparative, EU-wide research in areas where often no other research is 
being undertaken (such as EU-MIDIS or the work in the field of homophobia).  
 
The statements above do not provide sufficient evidence to conclude that the effects in 
the  field  of  fundamental  rights  have  been  achieved  at  lower  cost  because  of  the 
Agency's  intervention.  There  is  some  evidence  concerning  the  lack  of  duplication  of 
efforts,  where  the  work  of  the  FRA  has  been  used  by  the  stakeholders.  On  the  one 
hand,  without  the  work  of  the  Agency  such  research  would  not  exist  (meaning  that 
there is no risk for duplication of efforts) and on the other hand the work of the FRA in 
these  fields  is  seen  to  be  of  relevance,  which  is  why  this  can  be  interpreted  to  be  a 
cost-saving for those using the FRA's work in these fields.
 
 
 
3.5 
Coordination  and  coherence:  To  what  extent  has  the  FRA  ensured  appropriate 
coordination  and  or  cooperation  with  the  stakeholders  identified  in  the  Founding 
Regulation (articles 6 – 10)? 
 
3.5.1  To  what  extent  is  FRA  coordinating  with  relevant  Union  institutions  and  bodies,  offices  and 
agencies of the EU active in the field of fundamental rights or carrying out similar tasks? 
 
The  evaluation  question  has  been  assessed  by  collecting  stakeholder  opinions  in  the  survey, 
interviews as well as the case studies. For the survey a "judgement threshold" was set at 70 % 
positive answers. 
 
The FRA has developed formalised cooperation and/or coordination relationships with: 
 
A.  European Parliament 
 
The  Agency  consults  and  cooperates  with  the  European  Parliament  primarily  through  its 
committees, in particular the Committee on Civil Liberties, Justice and Home Affairs (LIBE). The 
FRA  participates  in  committee  meetings,  hearings  and  public  seminars,  where  it  provides 
fundamental  rights  expertise  to  assist  ongoing  policy  and  legislative  debates.  It  responds  to 
queries  by  members  and  staffers  at  the  EP,  and  also  presents  the  findings  of  its  research  to 
relevant  Intergroups,  such  as  the  Intergroup  on  LGBT  rights,  Disability  or  Anti-Racism  and 
Diversity. 
 
 

 
  
81
 
 
 
 
 
 
The EP can make a specific request for a FRA Opinion concerning a legislative proposal from the 
Commission  or  positions  taken  by  the  EU  institutions  in  the  course  of  the  legislative  procedure. 
For  example,  the  FRA  delivered  an  Opinion  on  the  draft  Directive  regarding  the  European 
Investigation  Order  and  an  Opinion  on  the  proposed  EU  law  on  the  property  consequences  of 
registered international partnerships in response to requests from the EP. 
 
Each  year,  FRA  presents  its  annual  report  on  fundamental  rights  to  Members  of  the  European 
Parliament in the LIBE Committee. 
 
The  FRA  has  appointed  a  European  Parliament  Liaison  Officer  dedicated  to  establishing  and 
developing the Agency's relations with the European Parliament. 
 
B.  Council of the European Union 
 
The  Agency  regularly  communicates  the  results  of  its  work  to  Council  working  parties  and 
committees, in particular to the Working Party on Fundamental Rights, Citizens’ Rights and Free 
Movement of Persons (FREMP). 
 
Every  five  years,  the  Council  of  the  European  Union  adopts  the  FRA  Multiannual  Framework 
(MAF), which lays down the thematic areas of the Agency’s activities over the period. The results 
of  FRA’s  data  collection  and  research  feed  into  the  discussions  of  relevant  Council  preparatory 
bodies  -  working  parties  and  committees,  including  the  Asylum  Working  Party,  the  Social 
Questions  Working  Party, the  General  Affairs  and  Evaluation  Working  Party.  Each  year,  the  FRA 
presents  its  annual  report  on  fundamental  rights  to  the  Working  Party  on  Fundamental  Rights, 
Citizens’ Rights and Free Movement of Persons (FREMP). 
 
When  requested  by  the  Council,  FRA  issues  opinions  on  issues  related  to  fundamental  rights 
aspects of legislative or non-legislative files. For example, in 2008 the FRA submitted an Opinion 
on the proposal for a Council Framework decision on the use of Passenger Name Record (PNR), at 
the behest of the Council. 
 
Apart from cooperation and contacts at expert level, the Director of the FRA often participates in 
both informal and formal ministerial meetings of the Justice and Home Affairs Council (JHA) and 
the Employment, Social Policy, Health and Consumer Affairs Council (EPSCO). 
 
The FRA has appointed a Council of the European Union Liaison Officer dedicated to establishing 
and developing the Agency's relations with the Council of the European Union 
 
C.  European Commission 
 
Commission  representatives  sit  on  the  FRA’s  Management  Board  (together  with  independent 
members  who  are  appointed  by  each  Member  State  and  the  Council  of  Europe).  The  MB  is 
responsible for adopting the Agency’s work programme, approving its budget and monitoring its 
work. Through its participation in the Management Board’s discussions and its right to deliver an 
opinion on each draft annual work programme, the Commission can help inform the Board about 
current EU legislative and policy processes, thus ensuring the Agency’s work focuses on issues of 
priority.  There  is  also  a  Commission  representative  in  the  FRA’s  Executive  Board,  which  assists 
the Management Board in all its work. 
 
FRA staff are in constant contact with the relevant departments at the Commission. In this way, 
the  Commission  can  readily  draw  on  the  Agency’s  assistance  and  expertise  when  developing, 
implementing  and  evaluating  EU  policies  and  legislation.  The  close  coordination  also  serves  to 
ensure  that  reports  and  research  initiated  by  the  Commission  are  taken  into  account  in  the 
Agency’s  work,  and  vice  versa.  FRA  works  particularly  closely  with  the  Directorate-General  for 
Justice and its Directorate for Fundamental Rights and Union Citizenship.  
 
 
 
 

 
  
82
 
 
 
 
 
 
D.  EU Agencies 
 
European  Agency  for  the  Management  of  Operational  Cooperation  at  the  External 
Borders of the Member States of the European Union (FRONTEX)78 
The  purpose  of  this  Cooperation  Arrangement  is  to  establish  a  cooperation  framework  between 
the  FRA  and  FRONTEX  with  the  overall  objective  of  strengthening  the  respect  of  fundamental 
rights  in  the  field  of  border  management  and  in  particular  in  Frontex  activities,  including,  inter 
alia
, joint border operations, risk analysis, training on fundamental rights for border guards and 
FRONTEX  staff,  exchange  of  information  and,  where  appropriate,  collaboration  on  upcoming 
research activities of mutual concern, collaboration on return and forced removal with a view to 
ensure  full  respect  of  fundamental  rights  and  consultations  to  ensure  that  activities  of  common 
interest  are  reflected  in  their  AWPs.  More  concretely,  the  cooperation  between  the  FRA  and 
Frontex has resulted, for example, in the following: 
 
•  Substantive  input  by  the  FRA  to  the  content  of  Frontex’s  Common  Core  Curriculum  for 
border guards; 
•  Development and initiation of training components for Frontex border guards; 
•  FRA-Frontex  cooperation  and  liaison  during  the  development  of  and  fieldwork  for  the 
FRA’s  project  on the  treatment  of  third  country  nationals  at  the  EU’s  external  borders – 
involving research in the Mediterranean and at selected airports; 
•  FRA-Frontex  cooperation  concerning  the  recruitment  of  the  first  Frontex  ‘Fundamental 
Rights Officer’ post and FRA’s appointment as the Chair of the new Frontex Consultative 
Forum. 
 
The European Institute for Gender Equality (EIGE)79 
The  agreement  includes  a  general  framework  for  cooperation,  which  establishes  a  common 
approach  to  gender  mainstreaming,  exchange  of  information  on  upcoming  research  activities  of 
mutual concern, communication, dissemination of information, networking activities and common 
events. The Agreement also mandates the establishment of contact points in relevant areas. As 
an example: 
 
•  The  FRA  has  invited  an  EIGE  representative  to  attend  relevant  expert  meetings 
concerning the development of the FRA’s EU-wide survey on violence against women; 
•  The  FRA  has  provided  staff  to  assist  EIGE  in  the  development  of  administrative 
procedures,  including  FRA’s  participation  in  selection  panels  for  the  recruitment  of  staff 
to EIGE. 
 
European  Foundation  for  the  Improvement  of  Living  and  Working  Conditions 
(EUROFOUND)80 
The cooperation agreement aims at facilitating the direct mutual access to the two organisations’ 
work  through  close  collaboration  in  research,  communication  and  networking  projects  and 
through the development and application of innovative research and learning tools. Specifically it 
mentions the following areas of cooperation: EU-wide surveys, the situation of social risk groups 
and  minorities  in  Europe  at  the  workplace  and  in  all  life  domains  and  the  setting  up  of  joint 
networks. 
 
Other agencies 
In addition, the FRA works closely with  
•  the European Asylum Support Office (EASO), with whom a Memorandum of Understanding is 
under preparation 
•  the European Centre for Disease Prevention and Control (ECDC), with whom a Memorandum 
of Understanding is also under preparation 
 
The FRA is a member of the general network of EU Agencies, consisting of app. 30 agencies. The 
FRA  Director  will  chair  the  network  from  March  2014  to  February  2015  and  will  therefore 
                                                
78 Cooperation arrangement between FRONTEX and the FRA of 26 of May 2010. 
79 Cooperation agreement between EIGE and the FRA of 22'nd November 2010. 
80 Cooperation agreement between EUROFOUND and the FRA of 8'th October 2009. 
 

 
  
83
 
 
 
 
 
 
participate  in  the  so-called  troika  of  EU  Agencies  as  of  March  2013.  Furthermore,  the  FRA  is  a 
member  of  the  formally  established  network  of  Justice  and  Home  Affair  Agencies  (the  JHA 
Agencies  Group).  The  participation  of  the  FRA  in  this  group  of  traditionally  more  security-based 
group of agencies can be considered a positive development in terms of inclusion of fundamental 
rights in a broader perspective of the Union's work. The FRA  has taken the lead in coordinating 
the Communication Teams of the Justice and Home Affairs Agencies and has as such coordinated 
a joint exhibition at the European Parliament. The FRA is also member of the general network of 
EU Agencies (app. 30 agencies). 
 
E.  Other actors 
In addition to the above actors, the FRA is also cooperating closely with the European Economic 
and Social Committee, the Committee of Regions and the European Ombudsman. 
 
In the  survey, respondents from relevant EU institutions (Commission, Parliament, Council) as 
well  as  offices  and  agencies  of  the  EU  active  in  the  field  of  fundamental  rights  considered  the 
collaboration/networking  activities  organised  by  the  FRA  to  be  of  some  value  for  their 
organisation.  Figure  36  below  presents  the  breakdown  of  these  responses.  The  results  indicate 
disparities between the levels of cooperation with different institutions. 
 
Particularly,  the  collaboration/networking  activities  bring  high  value  to  the  Commission  and  the 
other relevant EU Agencies but lower value for the Council. 50% of the respondents from the EP 
valued the FRA’s networking/collaboration activities to a high degree. 
Figure 36: How valuable are the networking/collaborating activities organised by the FRA to your 
institution/organisation? N=64 

European Parliam ent n=10
50,0%
10,0%20,0%
European Commission 
To a very high degree
6,7%
50,0%
30,0% 10,0%
n=30
To a high degree
To som e degree
To a lim ited degree 
EU Agencies n=20
20,0%
40,0%
15,0%20,0%
Not at all
Do not know/cannot assess
Council of EU n=4
25,0%
50,0%
25,0%
0% 20% 40% 60% 80% 100%
 
 
In  addition  to  collaboration  with  the  FRA,  respondents  from  relevant  EU  institutions  considered 
that  the  FRA  has  contributed  to  the  development  of  effective  information  and  cooperation 
networks  among  EU  level  stakeholders.  As  can  be  seen  from  Figure  37  below,  42%  of  the 
respondents considered this to happen either to a very high or to a high degree: 
 

 
  
84
 
 
 
 
 
 
Figure 37: To what extent has the FRA contributed to the development of effective information and 
cooperation networks among EU-level stakeholders in the field of fundamental rights?81 Respondents 
representing the EU institutions N=64 

All EU institutions N=64
39,1%
32,8%
17,2%
European Parliam ent  20,0%
40,0%
30,0%
n=10
To a very high degree
To a high degree
European Commission 
46,7%
33,3%
13,3%
To som e degree
n=30
To a lim ited degree 
Not at all
Do not know/cannot assess
EU Agencies n=20
40,0%
25,0%5,0%
Council of EU n=4
25,0%
50,0%
25,0%
0% 20% 40% 60% 80%100%
 
 
This  question  was  commented  on  in  the  stakeholder  interviews.  Several  stakeholders 
emphasised advantages of informal cooperation in comparison to formal cooperation.  
 
"[...] at least in my field we have this good informal direct cooperation." 
 
The FRA cooperates with the EIGE inter alia by looking into gender identity discrimination only in 
as  far  as  it  deals  with issues  relating  to  discrimination  based  on  sex only  as part  of,  and to  the 
extent  relevant  to  its  work,  to  be  undertaken  on  general  issues  on  discrimination  referred  to  in 
Article  2  point  (b)82.
  This  division  of  tasks  between  EIGE  and  the  FRA  has  been  challenged  as 
inappropriate by one stakeholder organisation. 
 
“The  FRA  works  in  agreement  with  EIGE  on  “gender  identity”,  thus  acknowledging  that  it  is 
actually falling in the competence of the Gender Institute. While the FRA has been content-wise 
very  supportive  of  and  beneficial  for  the  struggle  of  trans  
[trans-gender  persons]  equality, 
placing “gender identity” under the “wrong” ground [sexual orientation discrimination] is counter-
productive on the long run
.
 
                                                
81 Answers shown for respondents representing the Commission, European Parliament, Council of the European Union, 
Relevant EU Agencies. 
82 Council Decision 2008/203/EC of 28 February 2008, (FRA MAF) Article 2 (b) discrimination based on sex, race or ethnic 
origin, religion or belief, disability, age or sexual orientation and against persons belonging to  minorities and any 
combination of these grounds (multiple discrimination). 
 

 
  
85
 
 
 
 
 
 
The findings of the case studies, in particular the case study on Homophobia and discrimination 
on  grounds  of  sexual  orientation  and  gender  identity  analysed  closely  how  the  FRA  engages  in 
collaboration and coordination with some of the EU institutions (Commission, Parliament and EU 
Agencies).  It  was  found  that,  within  this  thematic  area,  the  engagement  with  MEPs  and 
Commission staff has been sufficient and productive for both parties.   
 
Overall, the evaluation findings point towards a favourable assessment in terms of the 
FRA's coordination with relevant Union institutions and bodies, offices and agencies of 
the  EU  active  in  the  field  of  fundamental  rights.  The  relevant  EU  Agencies,  the 
Commission  and  the  Parliament  expressed  positive  views  with  regard  to  the 
collaboration with the FRA.  
 
It  seems  that  the  main  benefits  of  collaboration  are  being  reached  through  informal 
channels,  with  direct  contact  between  respective  staff  in  each  institution,  who  do  a 
good  job  of  keeping  each  other  informed  and  creating  synergies  between  the  work 
conducted.  

 
 
3.5.2  To  what  extent  is  the  FRA  acting  in  close  cooperation  with  the  Council  of  Europe  to  avoid 
duplication and in order to ensure complementarity? 
 
In addition to the four sources of primary data – stakeholder opinions in the survey, interviews, 
case  studies  and  the  internal  survey  results  –  another  relevant  source  has  been  taken  into 
account: the views of the CoE’s appointee on FRA’s MB concerning the co-operation between the 
Council of Europe and the FRA.83 
 
The FRA has developed formalised cooperation and coordination relationships with the Council of 
Europe  through  a  written  agreement  between  the  European  Community  and  the  Council  of 
Europe.84  The  agreement  establishes  a  general  cooperation  framework  in  order  to  avoid 
duplication and to ensure complementarity and added value through:  
•  the establishment of contact points in each organisation,  
•  the invitation of CoE representatives to sit on FRA's Executive Board and MB as observers,  
•  the  possibility  for  FRA's  representatives  to  attend  CoE  intergovernmental  committees  as 
observers,  
•  exchanges of information and data,  
•  regular consultation concerning FRA's AWP, Annual reports, cooperation with civil society,  
•  the appointment by CoE of an independent person to sit on FRA's MB,  
•  temporary exchanges of staff. 
 
The  issue  of  cooperation  and  avoidance  of  duplication  of  efforts  between  the  FRA  and  CoE  has 
been  treated  on  both  the  formal,  political  level,  as  well  as  in  the  implementation  of  the  actual 
work conducted.  
 
With  respect  to  the  political  level,  the  FRA’s  Founding  Regulation  states  that:  The  Agency  shall 
coordinate its activities with those of the Council of Europe85. 
This stipulation is also made in the 
Agreement  of  June  2008  between  the  European  Community  and  the  Council  of  Europe  on 
cooperation  between  the  European  Union  Agency  for  Fundamental  Rights  and  the  Council  of 
Europe86.  
 
                                                
83 Speech by Mr Guy de Vel, ‘independent person appointed by the Council of Europe to sit on the Management Board and 
Executive Board of the European Union Agency for Fundamental Rights’ (GR-EXT – 10 April 2012). 
84 Agreement between the European Community and the Council of Europe on cooperation between the European Union 
Agency for Fundamental Rights and the Council of Europe of 18’th June 2008, published in the Official Journal of the 
European Union, L 186/7 of 15.7.2008. 
85 Article 9, Council Regulation (EC) No 168/2007 of 15 February 2007 establishing a European Union Agency for 
Fundamental Rights.  
86 Paragraph 12 of the Agreement of 18 June 2008 between the European Community and the Council of Europe on 
cooperation between the European Union Agency for Fundamental Rights and the Council of Europe. 
 

 
  
86
 
 
 
 
 
 
The  issue  was  further  taken  up  by  the  adoption,  in  March  2011,  of  the  Committee  of  Ministers’ 
response  to  Parliamentary  Assembly  Recommendation  1935  (2010)  on  the  ‘Need  to  avoid 
duplication of the work of the Council of Europe by the European Union Agency for Fundamental 
Rights’87. In its response, the Committee acknowledged that significant advances had been made 
since  the  creation  of  the  Agency,  not  only  in  avoiding  duplication  but  also  in  encouraging 
synergies. 
 
In his speech held on 10th of April 2012, the CoE appointee to FRA’s MB shared his views on the 
cooperation  of  the  FRA  with  the  CoE.  His  main  points  were  that  there  has  been  a  positive 
evolution with respect to cooperation and coordination between the two organisations since FRA’s 
establishment.  
 
“The  tensions  and,  to  some  extent,  wariness  that  surrounded  and  followed  the  creation  of  the 
Agency  in  2006  and  2007  have  gradually  subsided,  giving  way  initially  to  the  establishment  of 
contacts, then to cooperation and genuine cross-pollination, and ultimately to joint projects.”
 
 
On  the  practical level of  the  implementation  of  the agreement of  2008,  a  short  summary  of  his 
speech indicates that:  
 
•  Representatives of the Council of Europe Secretariat have played an active part as observers 
in all the meetings of the Agency’s Management Board. 
•  A practice has been established of including on the agenda, once every year, a specific item 
regarding cooperation with the Council of Europe, to review regularly the objectives, priorities 
and methods of cooperation between CoE and FRA and their joint activities. 
•  Observers  from  the  Agency  take  part  in  meetings  of  various  committees  of  experts  and  in 
public events held by the Council of Europe.  
•  The  ‘contact  persons’  appointed  under  the  Agreement  by  the  Council  of  Europe  Secretariat 
and  by  the  Director  of  the  Agency  to  deal  specifically  with  matters  relating  to  their 
cooperation have proved extremely useful. 
•  “Contacts between senior staff of both bodies and regular routine consultations occur at all 
levels  of  the  secretariats  on  matters  ranging  from  the  creation  of  projects  to  their 
implementation.  They  have  established  a  ‘culture’  of  cooperation,  which  is  illustrated  by  the 
reviews  of  cooperative  activities  that  are  distributed  to  you  
[Ministers  Deputies’  Rapporteur 
Group on External Relations] every year.”  
•  “The Agency’s reports and programmes contain many references to the standards and work 
of the Council of Europe.” 
•  “The Commissioner for Human Rights of the Council of Europe occupies a special place in its 
cooperation  with  the  Agency,  as  has  been  demonstrated  by  joint  activities,  especially  those 
relating  to  sexual  minorities.  The  newly  elected  Commissioner  will  no  doubt  continue  to 
pursue the same line.” 

•  “While  the  Agreement  of 2008 provides  for  the possibility of  temporary  exchanges  of  staff, 
this option has not yet been exercised.”  
 
Additionally,  Mr  De  Vel  referred  to  the  consultation  with  the  Council  of  Europe  on  the  2012 
Annual Work Programme to be exemplary and acknowledged that there has also been excellent 
cooperation on the implementation of the programme, particularly in the areas of children, Roma, 
violence against women, data protection and access to justice. 
 
The internal survey conducted showed that in the opinion of the FRA staff participating, the FRA 
is  acting  in  close  cooperation  with  the  Council  of  Europe  to  avoid  duplication  and  in  order  to 
ensure complementarity, with 82.1% of respondents agreeing with this statement. 
 
                                                
87 Parliamentary Assembly Recommendation 1935 (2010) – The need to avoid duplication of the work of the Council of 
Europe by the European Union Agency for Fundamental Rights. 
 

 
  
87
 
 
 
 
 
 
Figure 38: The FRA is acting in close cooperation with the Council of Europe to avoid duplication and in 
order to ensure complementarity? N=117 

Strongly agree n=45
38,5%
Agree n=51
43,6%
Neither agree or disagree n=12
10,3%
Disagree n=3
2,6%
Strongly disagree n=1
0,9%
Do not know/cannot assess n=5
4,3%
0%
10%
20%
30%
40%
50%
 
 
In the external survey
, out of a total of 12 respondents representing CoE, 11 stated that they 
perceive  the  FRA’s  networking/collaborating  activities  to  be  of  at  least  some  value  for  their 
organisation, nine of whom assessed this value to be high/very high.  
 
This question was also commented on by several stakeholders in the stakeholder interviews, 
with  the  majority  of  comments  being  positive.  The  interviews  with  CoE  staff  indicated  that  the 
fears  and  doubts  that  existed  at  the  establishment  of  the  FRA,  have  proven  unfounded  as  the 
practical cooperation has taken place without any incidents. 
  
“You  can  hardly  find  two  organisations  working  more  closely  than  we  are:  FRA  is  good  at 
delivering  evidence-based  advice.  We  [CoE]  monitor  on  compliance  on  existing  regulation.  The 
evidence provided by FRA helps us to identify crucial questions. […] We both intervene in most of 
each other’s activities. We have joint projects, joint financing, i.e. case reports, asylum etc.”
 
 
As recommendations for the future, it was proposed to establish procedures or guidelines for the 
cooperation  between  FRA  and  the  CoE  in  case  of  large-scale  data/research  projects.  The 
procedures/guidelines  should  cover  the  following  issues:  responsibilities;  calls  for  tender; 
transactions  and  services,  also  on  behalf  of  the  other  institution;  sources  for  funding;  and 
publication of the results. 
 
The  issue  of  collaboration  between  the  FRA  and  the  CoE  was  also  raised  in  the  thematic  case 
study  on  Homophobia  and  discrimination  on  grounds  of  sexual  orientation  which  looked  into 
whether  the  FRA  is  engaging  with  other  stakeholders.  The  case  study  showed  that  the  FRA  is 
involved with both the Commissionaires office as well as with the other units of the CoE in order 
to  address  LGBT  issues.  Synergies  between  the  work  of  the  FRA  and  the  CoE  have  resulted  in 
expansion of the work of the FRA to all CoE Member States: 
 
“The studies of FRA into the legal and social issues relating to LGBT rights conducted in all EU MS 
have been expanded by CoE to cover all Council of Europe’s Member States.”
 
 
 
 

 
  
88
 
 
 
 
 
 
Overall, it has been found that the FRA works  in close cooperation  with the  Council of 
Europe, no duplication of work has been cited and the two organisations create strong 
possibilities  for  complementarity  of  work.  All  sources  of  information  point  positively 
towards this.  
 
As further improvement of this collaboration, in order to provide clarity on the practical 
aspects  of  collaboration  and  make  cooperation  easier  it  has  been  suggested  that 
certain  procedures/guidelines  for  collaboration  on  large  scale  projects  could  be 
established.  
 
 
 
3.5.3  To  what  extent  is  the  FRA  acting  in  close  cooperation  with  the  UN  to  avoid  duplication  and  in 
order to ensure complementarity? 
 
The  evaluation  question  has  been  assessed  by  collecting  stakeholder  opinions  through  internal 
and  external  interviews  as  well  as  through  the  opinions  expressed  in  the  internal  survey 
conducted among FRA staff. 
 
The  formalised  cooperation  agreement88  between  the  UN  and  the  FRA  prescribes  that  the 
cooperation will take place in the areas of data collection and research, networking and common 
events, communication and awareness raising activities, and capacity development. This includes 
the following forms of cooperation: 
•  Coordination of data collection and analysis 
•  Participation in relevant expert meetings 
•  Collaboration in research project surveys or forthcoming publications 
•  Coordination of respective research methodologies to enhance comparability of project results 
•  Joint efforts in identifying common stakeholders 
•  Exchange of information on respective stakeholder interaction 
•  Cooperation in implementing networking activities 
•  Joint organisation of events 
•  Dissemination  of  information  on  relevant  subjects  to  their  respective  stakeholders  and 
partners 
•  Joint efforts in building up a pool of experts in the Fundamental Rights fields. 
 
In addition to the above, the Agency has several joint publications in the pipeline with UN organs 
and some publications have already been released.  
 
In  the  stakeholder  interviews  representatives  from  the  United  Nations  Development 
Programme  (UNDP)  and  the  Office  of  the  High  Commissioner  for  Human  Rights  (OHCHR) 
expressed  positive  views  in  regard  to  the  collaboration  with  the  FRA.  The  interviewees  pointed 
out  that  the  collaboration  is  strengthened  by  direct  personal  contact  between  staff  at  meetings 
and conferences. 
 
The  interviewees  provided  examples  of  avoidance  of  duplication  and  explained  how  synergies 
between the work of their organisations and the work of the FRA are achieved: 
 
“The  FRA  and  the  UNDP  developed  two  surveys  independently  from  each  other  in  the  field  of 
Roma.  As  often  happens,  different  DGs  do  not  talk  to  each  other,  unless  external  actors  bring 
them together. The UNDP and FRA were the common denominator with the two DGs involved. If 
this was not done, we would have two separate surveys addressing the same population, at the 
same  time,  both  of  them  slightly  overlapping  to  the  extent  that  you  can  have  two  datasets 
contributing to confusion – this would lead to the question of which one is the correct one. Waste 
of public money, bad public reputation, frustration on the side of people who are supposed to be 
supported (Roma community). This could have happened. But we managed to create cooperation 
instead.”
 
                                                
88 Protocol for Cooperation Between the United Nations Development Programme (UNDP) and the European Union Agency for 
Fundamental Rights (FRA). 
 

 
  
89
 
 
 
 
 
 
 
With  regards  to  the  synergies  with  the  UNDP,  it  was  pointed  out  that  the  two  agencies  have 
promoted in parallel a more comprehensive approach in the field of fundamental rights based on 
development.  
 
“For decades we were trying to promote the idea that nominal rights are not sufficient, they need 
to  be  matched  with  structural  and  other  changes  that  people  can  execute  their  rights  and 
materialise their opportunities. This is disposed in the concept of human development that UNDP 
is advocating. The FRA has evolved to this direction. We also benefitted – now we are much more 
sensitive  to  the  human  rights  framework.  So  we  both  are  getting  closer  to  each  agency’s 
approach  and  understand  it  better.  It  is  a  sound  basis  of  good  cooperation.  We  are  reinforcing 
and nurturing each other, this is a major element and leads to mutual enrichment.”
 
 
The input from the Office of the High Commissioner for Human Rights was similarly positive and 
the interviewee stressed the impact of the FRA’s actions on his own work and affirming that there 
is no duplication of efforts. 
   
“They [The FRA] have more capacity than we do for being more present and active in the region 
[Europe] and we are  very much relying on an organisation like the FRA for doing the work that 
relates  to  fundamental  rights.  There  is  no  duplication  of  work;  they  do  surveys  and  specific 
analysis that we are not doing.”
 
 
The mechanisms by which collaboration is ensured can have implications in two directions: 
  
1. In promoting fundamental rights as developed by the UN in Europe: 
   
“For my organisation it has been useful, they contacted us first and they have been instrumental 
in  promoting  and  disseminating  the  work  and  approach  developed  by  our office  with  UN  human 
rights mechanisms. The symposium really opened new collaborations in the region (Europe) and 
joint human rights efforts.”
 
 
2. In promoting the fundamental rights approach taken in Europe to the rest of the world:  
   
“We are looking at best practices and use them when they come from an organization like FRA, 
to  promote  best  practices  towards  other  regions.  I  use  that  a  lot  when  going  to  different 
countries, to show that this is the kind of data that has been collected in other parts of the World, 
comparisons that have been made. When they see that it has been done in a region or country, 
we can provide stronger incentives for other countries or regions to do the same. Sometimes that 
is the best argument we can use.”
 
 
The  internal  survey  conducted  showed  that  only  51.3%  of  the  participating  FRA  staff  agreed 
that the FRA is acting in close cooperation with the UN to avoid duplication and in order to ensure 
complementarity.  It  should  be  noted,  however,  that  the  number  of  persons  that  neither  agreed 
nor disagreed, or who could not assess was relatively high (36.7%). 
 
 

 
  
90
 
 
 
 
 
 
Figure 39: The FRA is acting in close cooperation with the UN to avoid duplication and in order to ensure 
complementarity. N=117 

Strongly agree n=17
14,5%
Agree n=43
36,8%
Neither agree or disagree n=28
23,9%
Disagree n=13
11,1%
Strongly disagree n=1
0,9%
Do not know/cannot assess n=15
12,8%
0%
5% 10% 15% 20% 25% 30% 35% 40%
 
 
With respect to cooperation and collaboration with the UN, it can be concluded that the 
FRA  is  avoiding  duplication  of  efforts  and  is  achieving  a  sufficient  level  of 
complementarity.  The  close  collaboration  benefits  both  the  FRA  and  the  promotion  of 
fundamental rights in Europe as well as the UNDP and contributes to the promotion of 
fundamental rights in other parts of the world. 

 
 
3.5.4  To  what  extent  is the  FRA  acting  in  close  cooperation  with  non-governmental  organisations  and 
with institutions of civil society? Is the resource allocation proportionate? 
 
The evaluation question has been assessed by collecting stakeholder opinions in the external 
survey, interviews as well as the case studies. The question has also been assessed in the 
internal survey with FRA staff. 
 
The  internal  survey  showed  that  a  high  percentage  of  the  participating  FRA  staff  (81.2%) 
strongly  agreed  or  agreed  that  the  FRA  is  acting  in  close  cooperation  with  non-governmental 
organisations and with institutions of civil society. 
 

 

 
  
91
 
 
 
 
 
 
Figure  40:  The  FRA  is  acting  in  close  cooperation  with  non-governmental  organisations  and  with 
institutions of civil society? N=117 

Strongly agree n=32
27,4%
Agree n=63
53,8%
Neither agree or disagree n=11
9,4%
Disagree n=5
4,3%
Strongly disagree n=1
0,9%
Do not know/cannot assess n=5
4,3%
0%
10%
20%
30%
40%
50%
60%
 
 
The external survey indicated that the FRA has been successful in promoting dialogue with the 
institutions  of  civil  society;  the  Fundamental  Rights  Platform  assessed  this  success  even  more 
positively  than  the  whole  set  of  respondents.  As  can  be  seen  below  in  Figure  41,  71.9%  of  all 
respondents  and  83%  of  the  respondents  representing  the  Fundamental  Rights  Platform  agreed 
at  least  to  some  degree  that  the  FRA  has  been  successful  to  this  end.  In  the  opinion  of  the 
stakeholders it seems that the FRA has been effective in terms of fulfilling its mandate with this 
regard.89 
Figure  41:  To  what  extent  has  the  FRA  been  successful  in  terms  of  promoting  dialogue  with  the  civil 
society? N=305 

5,6%
To a very high degree
9,2%
26,6%
To a high degree
31,5%
39,7%
To some degree
42,3%
All respondents n=305
9,8%
To a limited degree 
Fundamental Rights Platform 
12,3%
n=130
0,7%
Not at all
0,8%
17,7%
Do not know/cannot assess
3,8%
0% 10% 20% 30% 40% 50%
 
 
As presented in section 3.1.5, in particular the European Commission (80% responded at least to 
some degree) and the EU Agencies (75% at least to some degree) were positive concerning the 
FRA's ability to develop effective information and cooperation networks.  
 
                                                
89 Regulation 168/2007, Art. 4(h). 
 

 
  
92
 
 
 
 
 
 
However,  when  asked  to  what  extent  the  FRA  has  contributed  to  effective  information  and 
cooperation  networks  among  local  level  stakeholders,  the  respondents  were  much  more 
reserved. 31% of respondents believed that FRA contributed to a limited degree or not at all to 
the  development  of  effective  information  and  cooperation  networks  among  local  level 
stakeholders.  (see  Figure  42).  It  should  also  be  noted  that  the  share  of  the  respondents 
representing  national  level  stakeholders  and  answering  "do  not  know/cannot  assess"  was 
relatively  high,  34%  overall  with  18.9%  for  the  equality  bodies,  11.1%  for  the  NLOs  and  6.3% 
for the NHRIs.90 
 
This result points towards the fact that the FRA is cooperating and coordinating to a much larger 
extent  with  civil  society  organisations  established  at  EU  level,  and  less  with  local  level 
organisations. 
Figure 42: To what extent has the FRA contributed to the development of effective information and 
cooperation networks among local level stakeholders in the field of fundamental rights? N=303 

To a very high degree n=7
2,3%
To a high degree n=25
8,3%
To som e degree n=74
24,4%
To a lim ited degree n=68
22,4%
Not at all n=26
8,6%
Do not know/cannot assess n=103
34,0%
0%
5%
10% 15% 20% 25% 30% 35% 40%
 
 
This evaluation question was also commented on in the stakeholder interviews and the view 
that the FRA 
communicates and coordinates effectively with civil society was affirmed. 
 
“They  are  the  only  EU  institution  who  will  interact  with  civil  society.  They  have  a  better 
understanding of the issues on the ground, on the trends and discussions that are out there.”
 
 
The  findings  of  the  case  studies  also  revealed  relevant  evidence  in  support  of  answering  this 
evaluation question; the case study on Homophobia and discrimination on the grounds of sexual 
orientation looked specifically into the causal mechanisms related to cooperation and coordination 
with expert networks and civil society and found that the FRA is performing well with regards to 
engaging  organisations  such  as  the  International  Lesbian  and  Gay  Association  and  Transgender 
Europe  and  all  respondents  agreed  that  FRA  is  cooperating  well  with  the  LGBT  stakeholder 
circles. 
 
“FRA  is  engaging extremely  well  in the  LGBT  stakeholder  circles.  It  has  engaged  well  with ILGA 
and its members, connected to legal platforms and networks. FRA’s staff has regularly attended 
ILGA  events  and  has  invited  ILGA  to  the  thematic  events  that  the  FRA  organised.  [...]  So  they 

                                                
90 Here the relatively small number of respondents should however also be reflected, and for example among the NLOs only 
two respondents represent 11.1% of the total of 18 respondents. 
 

 
  
93
 
 
 
 
 
 
have  been  well  integrated  by  the  LGBT  actors.  It  has  benefited  the  work  of  ILGA  through  the 
synergy created through dialogue and engagement." 
 
“TGEU is in close cooperation through direct contact, roundtable discussion, as well as the current 
survey on LGBT rights and experiences of hate crime and discrimination.”
 
 
Overall,  the  results  of  the  evaluation  indicate  that  the  FRA  is  engaging  well  with  non-
governmental organisations and institutions of civil society. However, there is evidence 
which  suggests  that  local  level  organisations  are  less  aware  and  benefit  to  a  lesser 
extent from the FRA’s cooperation and coordination activities than organisations at the 
EU and national levels.   

 
 
3.5.5  To what extent are the procedures to ensure this coordination and cooperation effective to secure 
that FRA activities are coherent with the policies and activities of its stakeholders? 
 
The evaluation question has been assessed by collecting stakeholder opinions through internal 
and external interviews and through the internal survey conducted. 
 
The FRA has an extensive mandate in terms of stakeholders to cover and cooperate with, ranging 
from the EU institutions to Civil Society Organisations. The FRA interacts with its stakeholders in 
two main ways: on the one hand, through the different research projects, and on the other, on a 
more continuous basis through the coordination of networks of stakeholders (Fundamental Rights 
Platform,  National  Liaison  Officers)  and  cooperation  with  other  existing  networks  and  their 
members  (National  Human  Rights  Institutions,  Equality  Bodies,  Ombuds  institutions).  This  is 
further elaborated in section 2.5.3. 
 
In  the  internal  survey,  63.3%  of  the  FRA  staff  responding  strongly  agreed  or  agreed  that  the 
procedures  in  place  to  ensure  coordination  and  cooperation  secure  that  FRA  activities  are 
coherent with the policies and activities of its stakeholders.  
Figure 43: The procedures in place to ensure coordination and cooperation secure that FRA activities are 
coherent with the policies and activities of its stakeholders, N=117 

Strongly agree n=16
13,7%
Agree n=58
49,6%
Neither agree or disagree n=21
17,9%
Disagree n=9
7,7%
Strongly disagree n=0
0,0%
Do not know/cannot assess n=13
11,1%
0%
10% 20% 30% 40% 50% 60%
 
 
This question was also commented on in the stakeholder interviews: 
 
The Commission pointed out that during the established procedure of drawing up the annual work 
programmes  the  parent  DG  (DG  JUST)  coordinates  the  work  by  other  DGs  and  units  of  the 
Commission  and  with  the FRA.  This  process  leads to raising  awareness of  possible  projects  that 
can  duplicate  the  work  at the  EU  level  and  ensures coherence  and  non-duplication  between  the 
Commission  and  the  FRA.  As  a  part  of  the  development  of  the  AWP  the  Agency  carries  out  a 
 

 
  
94
 
 
 
 
 
 
stakeholder  needs  assessment.  The  stakeholder  needs  assessment  gives  the  stakeholders  the 
possibility  to  indicate,  which  fundamental  rights  issues  they  think  are  important  for  the  FRA  to 
address  in  their  AWP.  The  stakeholders  have  also  the  possibility  to  express  what  FRA  products 
and  activities  are  needed  to  effect  positive  change  in  the  area  of  fundamental  rights.  The 
stakeholder needs assessment is carried out in the form of an online survey. Once the first draft 
of  the  AWP  is  available,  the  stakeholders  are  invited  to  comment  on  the  more  specific  project 
fiches  and  activities,  which  have  been  developed  and  elaborated  based  on  the  needs 
assessment.91  
 
It  was  pointed  out  that  improvements  could  be  achieved  in  the  field  of  indicators,  where 
collaboration with Eurostat could be strengthened, as there is no systematic discussion between 
the  statistical  community  and  human  rights  community  on  data  that  would  be  useful  for 
assessing human rights situations. 
 
Furthermore, the cooperation and communication with many stakeholders is being conducted on 
an  ad  hoc-basis,  on  an  informal  level  which  is  strengthened  by  direct  personal  contact between 
staff members. This informal level has been regarded to be both effective and efficient. However, 
there are limitations to this mechanism, as pointed out by one interviewee: 
 
“Their  involvement  is  ad  hoc  based.  For  example  I  do  not  know  about  their plans  for  this  year. 
We were involved on child rights indicators but we were involved late in the process. There is no 
real communication between us on duplication. If we knew the plans of the FRA a bit sooner then 
we  could  streamline  our  activities  better  but  we  have  not  had  an  incident  where  we  completely 
contradicted each other.”
 
 
The  FRA  has  established  effective  procedures  for  coordination  and  cooperation  which 
ensure  coherence  of  policies  and  activities  with  stakeholders  at  all  levels.  Strong 
formal  procedures  exist  between  the  FRA  and  the  CoE  and  the  Commission.  These 
formal  procedures  are  strengthened  by  informal  channels.  (See  sections  3.5.1  and 
3.5.2 as well).  
 
Coherence  with  policies  and  activities  with  the  UN,  the  Parliament,  and  other 
stakeholders  is  mainly  ensured  through  informal  channels.  (3.5.1  and  3.5.3  for  more 
detail). Respondents indicate that these mechanisms work well. 
 
Despite  the  existence  of  Memoranda  of  Understanding  and  other  official  cooperation 
agreements, it seems that much of the cooperation takes place on an ad hoc basis and 
on an informal level. While this level is regarded effective and efficient, it is important 
to also ensure a structured cooperation with continuous information-flow. 

 
 
                                                
91 European Union Agency for Fundamental Rights: Preparation and adoption of the FRA Annual Programme. PR.HRP. 001.01, 
2012. 
 

 
  
95
 
 
 
 
 
 
4.  CONCLUSIONS AND RECOMMENDATIONS 
4.1 
The  usefulness  of  the  FRA  in  addressing  the  needs  for  the  full  respect  of  fundamental 
rights in the framework of European Union law 
 
Article 2 of the Founding Regulation states that the "objective of the Agency shall be to provide 
the  relevant  institutions,  bodies,  offices  and  agencies  of  the  Community  and  its  Member  States 
when implementing Community law with assistance and expertise relating to fundamental rights 
in  order  to  support  them  when  they  take  measures  or  formulate  courses  of  action  within  their 
respective spheres of competence to fully respect fundamental rights."92.
 
 
It  can  be  concluded  that  the  FRA  has  clearly  fulfilled  its  mandate  in  addressing  the 
needs for full respect of fundamental rights in the framework of European Union law, in 
relation to relevant institutions, bodies, offices and agencies of the Community. 
 
The  evaluation  findings  show  that  the  Agency  is  considered  by  European  stakeholders  to  be  a 
vital  point  of  reference  in  the  fundamental  rights  architecture  in  Europe,  where  it  is  seen  as  a 
unique  provider  of  comparative,  EU-wide  reports  and  data  in  the  field  of  fundamental  rights, 
covering a need for objective and reliable information which was previously not catered for.  
 
The  work  of  the  FRA  has  contributed  to  a  greater  knowledge-base  regarding 
fundamental  rights  issues  among  policy-/decision-makers  and  stakeholders  in  the 
European Union.  
 
The  work  of  the  FRA  is  found  to  be  highly  relevant  and  suitable  to  the  information  needs  of 
stakeholders,  in  particular  at  the  EU  level  and  to  some  extent,  among  civil  society.  The  FRA 
mainly  works  in  fields  where  there  are  data  gaps,  in  particular  in  terms  of  comparative 
information  among  Member  States.  The  perceived  objectivity  of  the  FRA  is  appreciated  by  the 
stakeholders, and their role as an EU institution gives their work additional backing, for example 
compared  to  the  work  carried  out  by  civil  society  or  other  actors  in  the  field  of  fundamental 
rights. 
 
The  evaluation  evidence  points  towards  the  FRA  currently  being  less  relevant  and 
useful for Member States compared to EU institutions and bodies. 
 
The  usefulness  for  different  stakeholders  stems  largely  from  the  mandate  of  the  FRA,  which 
clearly emphasises the comparative aspect of the data collection and research undertaken by the 
Agency.  What  is  considered  highly  useful  for  EU institutions,  such  as  EU-wide data  collection,  is 
not  always  considered  equally  relevant  for  and  by  the  Member  States.  In  the  period  after  its 
establishment,  the  Agency  focused  on  becoming  a  key  actor  at  the  European  level,  as  an  EU 
Agency.  More  recently,  increased  efforts  have  been  made  to  reach  out  and  liaise  more  with 
Member  States,  with  more  interaction  and  consultation  with  NLOs,  Director's  visits  to  Member 
States and other initiatives aimed at creating stronger ties to Member State institutions, such as 
National Human Rights Institutes and Equality Bodies. 
 
The European Commission and European Parliament see a clear added value of the FRA 
to the policy implementation at the EU level. At the Member State level the value is less 
clear and more mixed.
  
 
It can be concluded that the work of the Agency contributes to policy development in that policy-
makers  are  well  familiar  with  the  Agency's  outputs  and  activities,  and  consider  the  Agency's 
evidence  base  to  provide  objective  and  reliable  input  to  the  policy  process.  This  is  particularly 
true at the EU level, while at the national level the contribution is less clear.  
 
As a knowledge producing institution, any impact of the FRA's work will by necessity depend on 
the  uptake  of  evidence-based  advice  by  other  actors  who  are  responsible  for  the  development 
                                                
92 Council Regulation (EC) No 168/2007. 
 

 
  
96
 
 
 
 
 
 
and actual implementation of policies. While evidence provided by the FRA is clearly being used, 
it  is  not  possible  to  point  to  concrete  policy  developments  or  changes  that  have  been  a  direct 
result  of  the  work  of  the  FRA  alone.  As  in  any  policy-/decision-making  process,  a  wealth  of 
sources  and  information  is  being  used  by  policy  makers,  and  not  only  the  FRA's  contribution. 
However, it was often pointed out to the evaluators that the FRA research was seen as objective, 
valid and of high quality, compared to other sources. 
 
The  FRA's  responses  to  ad  hoc-requests  have  been  appreciated  by  stakeholders,  and 
have been used as input in the policy debate and legislative process. 
 
In terms of ad hoc-requests and opinions, the FRA has so far received a limited number of formal 
requests for opinions and ad hoc-support, mainly stemming from the European Parliament. There 
are,  however,  indications  that  the  FRA’s  opinions  and  ad  hoc-assistance  and  expertise  (advice) 
are  sought  more  frequently,  and  the  Agency  is  experiencing  an  increasing  inflow  of  informal  as 
well as formal requests.  
 
The responses to ad hoc-requests often serve as direct input to the policy process and decision-
making, and in this respect it is positive that request are increasing. In order to meet requests, 
they  need  to  be  prioritised  at  the  expense  of  running  research  projects.  Hence,  the  more 
requests arrive, the more difficult it may be for the Agency to free necessary resources to provide 
high  quality  responses  and/or  to  allocate  sufficient  resources  to  the  research.  A  good  balance 
needs to be found, where one strand of activity does not impair on the other.  
 
4.2 
Overall ability of FRA to sustain its activities and meet future challenges 
 
It can be concluded that the FRA has a good ability to sustain its current activities, with 
systems, procedures and methodologies in place to carry out its mandate. 
 
In terms of future challenges, it is more difficult to predict the ability of the Agency. The Agency's 
planning cycle does not allow for much flexibility (N-2 planning cycle), and it is likely that budget 
allocation  will  be  decreased  in  coming  years,  as part  of overall  budget  constraints  and  austerity 
measures. In combination with an increased demand for the Agency's support and research, this 
may lead to difficulties in meeting expectations. 
 
While the overall capacity of the Agency is assessed as very high, the evaluation also showed a 
perception  of  high  workload  among  the  staff.  It  is  clear  that  many  members  of  the  staff  are 
highly motivated and risk taking on too much work, which can have an adverse effect in the end 
on the productivity of the Agency if workload influences wellbeing and work-life balance. The FRA 
has  introduced  several  wellbeing  measures  to  remedy  the  situation,  and  it  will  be  important  to 
continue to have a focus on a reasonable work-life balance among the staff. 
 
Hence,  it  is  considered  important  for  the  future  that  the  FRA  prioritise  its  activities  to  the  most 
pertinent areas of the Multi-Annual Framework. The MAF is broad and it will be necessary for the 
FRA to focus its activities on key issues.  
 
4.3 
Barriers and obstacles to optimal performance 
 
In  terms  of  organisational  or  institutional  factors  no  barriers  to  optimal  performance 
were identified in the evaluation - obstacles relate rather to the mandate and the Multi 
Annual Framework.  
 
The mandate and the Multi Annual Framework set limits to what the FRA can undertake and what 
advice  it  can  bring  forward.  Evaluation  findings  show  that  stakeholders  perceive  that,  as  a 
consequence of the mandate and the MAF, the Agency's full potential towards providing advice in 
the field of fundamental rights is not being utilised. 
 
For example it is considered that the FRA could have a clearer position in the legislative process, 
for  example  through  contributions  to  impact  assessments  and  providing  opinions  on  legislative 
proposals.  Currently  the  FRA's  input  is  dependent  on  requests  from  the  European  Commission, 
 

 
  
97
 
 
 
 
 
 
the European Parliament or the Council. It was generally thought that the Agency is an untapped 
resource, which could significantly contribute to safeguarding fundamental rights in the legislative 
process  at  European  level.  There  were  also  several  opinions  regarding  the  independence  of  the 
FRA, which is seen as limited due to its dependency of the European Commission and restricted 
mandate in terms of issuing at its own initiative FRA opinions regarding legislation. Furthermore, 
the  exclusion  of  police  and  judicial  cooperation  in  criminal  matters  from  the  Multi  Annual 
Framework  is  seen  by  several  stakeholders  as  inconsistent  from  the  European  citizens' 
perspective,  as  this  means  that  not  all  the  fundamental  rights  included  in  the  EU  Charter  on 
Fundamental  Rights  are  covered  by  the  mandate  of  the  FRA,  with  potential  issues  such  as 
detention, extraditions and situation of vulnerable groups high on the agenda.  
 
The  above  views  were  mainly  heard  from  the  European  Parliament,  Civil  Society  Organisations, 
and to some extent Member States. The issue is highly political, and the discussion is on-going as 
to  whether  the  FRA  should  have  a  stronger  and  more  independent  position  in  the  institutional 
framework. While the evaluation does not allow for a thorough analysis of different scenarios, the 
findings do support the notion of a more independent fundamental rights agency, in line with the 
Paris principles of National Human Rights Institutions. 
 
Another  challenge  of  the  mandate  relates  to  the  stakeholders  identified  in  the  Founding 
Regulation,  since  their  expectations  and  needs  differ.  For  example  the  European  Commission 
requests  EU-wide  analyses  while  Member  States  would  like  more  direct  support  and  country 
research.  Civil  society  on  the  other  hand  demands  more  monitoring  and  safeguarding  of 
fundamental  rights.  While  the  expectations  are  not  necessarily  contradictory,  meeting  them  all 
would require a set of different approaches to the work conducted by the Agency, i.e. working on 
different  types  and  scales  of  research,  something  which  is  not  considered  realistic  within  the 
current resources.  
 
To  strike  a  balance  is  difficult,  and  also  risks  leading  to  a  situation  where  none  of  the 
stakeholders view the FRA as a reliable partner and resource. Currently, the FRA is attempting to 
meet  the  needs  and  expectations  from  all  stakeholders.  While  acknowledging  that  no 
stakeholders  should  be  disregarded,  it  is  not  considered  by  the  evaluators  to  be  sustainable  in 
the  long  run  to  attempt  to  meet  the  needs  and  expectations  from  all  stakeholders  to  the  same 
extent
. Therefore there will be a need to prioritise the efforts of the Agency. 
 
4.4 
Challenges as regards FRA's governance 
 
Since its establishment, the Agency has developed into a well-functioning organisation, 
which is largely appreciated by stakeholders for its openness and responsiveness.  
 
In terms of the internal procedures and systems, the FRA is now at a point of development where 
the focus should be on consolidation and implementation of procedures and systems, such as the 
Management Information System MATRIX, the Performance Measurement Framework and Quality 
Management System.  
 
The  Management  Board  is  seen  as  a  key  body  of  the  Agency,  in  that  it  entails  independent 
persons  rather  than  Member  State  representatives.  While  the  set-up  and  size  of  the  MB  is 
somewhat of a challenge to handle, it is considered by stakeholders and the FRA as a necessary 
and vital body for the Agency, and should thus be maintained in its current composition. The MB 
has a 2/3 majority voting rule, which can cause difficulties when not all members are present. It 
should  be  considered  to  revise  the  voting  rules,  to  enable  a  majority  rule  for  present  members 
(for example 2/3 of the members present).  
 
Other challenges in terms of governance relate mainly to the management functions, where the 
Director in particular is seen as key to the development of the Agency so far. The current Director 
may have his mandate extended for another three years, but no clarification has been made as 
yet  on  whether  the  mandate  will  be  extended.  It  would  be  beneficial  for  the  Agency  to  get 
clarification on the matter as soon as possible. 
 
 
 
 

 
  
98
 
 
 
 
 
 
4.5 
Recommendations for actions 
The  following  recommendations  for  actions  are  based  on  findings  and  conclusions  of  the 
evaluation.  The  recommendations  are  divided  into  fields  related  to  the  usefulness,  organisation 
and working procedures. 
 
The usefulness of the FRA 
•  Overall,  the  FRA  needs  to  undertake,  with  the  Management  Board  and  possibly  other 
stakeholders, a thorough review of priorities. The objective should be to ensure the available 
resources  are  used  in  the  most  effective  and  efficient  way,  which  may  mean  a  smaller 
number of projects, stakeholder focus or scope of activities. It will not be possible for the FRA 
to continue an approach where the Agency tries to fulfil everybody's expectations to the same 
extent. 
•  A strategy for meeting increasing demand for ad-hoc requests should be developed, in order 
to  ensure  that  there  is  a  good  balance  between  responding  the  external  requests  and  the 
pertinent needs for research on fundamental rights issues. 
•  Member  States  are  the  duty-bearers  in  the  fundamental  rights  context,  and  thus  key  to 
reaching a real impact for the rights-holders. The FRA should continue its on-going efforts to 
be relevant and useful for Member States, in order to create the necessary linkages to deliver 
pertinent evidence and advice.  
•  The limits of the mandate of the FRA should be examined and discussed, to ensure that the 
Agency's mandate is supporting of the objective of providing advice and assistance to support 
the full respect of fundamental rights.  
•  In particular it should be clarified to what extent the FRA should be mandated to issue on its 
own initiative opinions in the legislative process and have a wider mandate to address 
particular pertinent issues occurring in Member States. 
 
The organisation of the FRA 
•  The  FRA  should  focus  on  continued  consolidation  and  implementation  of  the  different 
management  tools  developed,  such  as  MATRIX,  Quality  Management  System  and 
Performance  Measurement  Framework.  Efforts  should  be  made  to  ensure  that  the  systems 
are properly implemented and also used. New initiatives should be avoided. 
•  The  FRA  should  ensure  that  staff  workload  continues  to  be  regularly  monitored,  to  ensure 
that there is a reasonable workload. 
 
The working procedures of the FRA 
•  The  FRA  should  continue  to  strengthen  the  networking  aspect  of  the  Agency's  work,  for 
example by using expert committees and working parties more consistently in projects. 
•  There is a need to put in place procedures/methodologies to respond to ad hoc requests.  
•  There  is  a  need  to  monitor  the  development  of  ad  hoc  requests  to  ensure  that  sufficient 
capacity is available to respond. 
 
 
 
 
 

 
 
0-1
 
 
 
 
 
 
ANNEX 1 
INCEPTION REPORT 
 
 
 

 
 
0-2
 
 
 
 
 
 
 
ANNEX 2 
CASE STUDY REPORTS 
 
 
 

 
 
0-3
 
 
 
 
 
 
 
ANNEX 3 
LIST OF INTERVIEWEES 
 
 
 

 
 
0-4
 
 
 
 
 
 
 
ANNEX 4 
LIST OF FRA PUBLICATIONS AND EVENTS 
 
 
 

 
 
0-5
 
 
 
 
 
 
 
 

ANNEX 5 
SURVEY RESULTS 
 
 
 
 

 
 
0-6
 
 
 
 
 
 
 
ANNEX 6 
BIBLIOGRAPHY