This is an HTML version of an attachment to the Freedom of Information request 'Annual Reports of External Audit Units, personal data protection, FP6 & FP7 programmes. overriding public interest'.

CONFIDENTIAL 
EUROPEAN COMMISSION 
DIRECTORATE-GENERAL FOR RESEARCH & INNOVATION 
  
Directorate M – Management Operational Support - Framework Programme 
  
  M.1 External audits   M.2 Implementation of audit certification policy and outsourced audits 
 
 
 
 
ANNUAL ACTIVITY REPORT ON EXTERNAL AUDITS  
2011 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Commission européenne, B-1049 Bruxelles / Europese Commissie, B-1049 Brussel - Belgium. Telephone: (32-2) 299 11 11 
 
 
 

CONFIDENTIAL 
 
 
 
Commission européenne, B-1049 Bruxelles / Europese Commissie, B-1049 Brussel - Belgium. Telephone: (32-2) 299 11 11 
 
 
 

link to page 5 link to page 7 link to page 7 link to page 7 link to page 7 link to page 8 link to page 9 link to page 9 link to page 9 link to page 11 link to page 12 link to page 14 link to page 14 link to page 16 link to page 16 link to page 16 link to page 17 link to page 18 link to page 19 link to page 20 link to page 21 link to page 21 link to page 22 link to page 23 link to page 24 link to page 24 link to page 25 link to page 25 link to page 26 link to page 27 link to page 28 link to page 29 link to page 29 link to page 30 link to page 31 link to page 31 link to page 34 link to page 36 link to page 37 link to page 41 link to page 43 CONFIDENTIAL 
Table of contents 
Executive Summary ______________________________________________ 5 
1.  Background _________________________________________________ 7 
1.1.  Introduction ____________________________________________________________  7 
1.2.  Legal background  _______________________________________________________  7 
1.3.  The mission of the External Audit Units _____________________________________  7 
1.4.  Role within the control framework activities of DG Research & Innovation  _______  8 
2.  Activities ____________________________________________________ 9 
2.1.  The audit campaigns _____________________________________________________  9 
2.1.1.  The FP6 audit campaign ____________________________________________ 9 
2.1.2.  The FP7 audit campaign ___________________________________________ 11 
2.1.3.  Additional auditing commitments ____________________________________ 12 
2.2.  Cross-RDG coordination _________________________________________________  14 
2.2.1.  Coordination of audits in the Research family (CAR)  ____________________ 14 
2.2.2.  Other coordination Committees  _____________________________________ 16 
2.3.  Extrapolation __________________________________________________________  16 
2.3.1.  Extrapolation policy and coordination  ________________________________ 16 
2.3.2.  RTD extrapolation cases ___________________________________________ 17 
2.3.3.  Extrapolation implementation _______________________________________ 18 
2.3.4.  Extrapolation follow-up activities ____________________________________ 19 
2.4.  OLAF cases ____________________________________________________________  20 
2.5.  Management and quality control tools ______________________________________  21 
2.5.1.  Management and Quality Controls ___________________________________ 21 
2.5.2.  Keywords Working Group (KWG) ___________________________________ 22 
2.5.3.  The Audit Steering Committee (ASC)  ________________________________ 23 
2.5.4.  The Audit Process Handbook (APH) and Audit Manual  __________________ 24 
2.6.  Collaboration with the DG RTD administration and finance (UAF) network______  24 
2.7.  IT developments ________________________________________________________  25 
2.8.  FP7 methodology certification  ____________________________________________  25 
2.8.1.  State of play of certification files as of December 31st 2011  _______________ 26 
2.8.2.  Inter-service collaboration and communication activities (cf. 2.11) __________ 27 
2.9.  Coordination of outsourced audits _________________________________________  28 
2.10. 
Other activities (Art. 185 Initiatives/JTIs/Executive Agencies)  ______________  29 
2.10.1. 
Art. 185 Initiatives _____________________________________________ 29 
2.10.2. 
Joint Technology Initiative (JTIs) _________________________________ 30 
3.  Results and Analysis  _________________________________________ 31 
3.1.  Audit numbers _________________________________________________________  31 
3.2.  Audit results ___________________________________________________________  34 
3.3.  Analysis _______________________________________________________________  36 
3.3.1.  Analysis of error rates _____________________________________________ 37 
3.3.2.  Analysis of adjustments at cost category level __________________________ 41 
3.3.3.  Assessment of the different steps of the control chain ____________________ 43 
Page 3 of 51 
 

link to page 44 link to page 45 link to page 46 link to page 49 CONFIDENTIAL 
3.3.4.  Qualitative analysis of error types ____________________________________ 44 
3.3.5.  Audit coverage  __________________________________________________ 45 
3.3.6.  Lessons learnt so far from the audit campaigns:  the most common errors  ____ 46 
ANNEX I: mission statements _____________________________________ 49 
 
Page 4 of 51 
 

CONFIDENTIAL 
EXECUTIVE SUMMARY 
 
In  2011,  337  audits  were  closed.  The  2011  target  was  therefore  achieved;  the  FP7  audit 
campaign is on target. The proportion of audits closed in-house was noticeably higher in 2011 
(39%)  than  in  previous  years.  Cumulatively,  in-house  audits  represent  almost  a  third  of  all 
audits closed.  
The focus is now very much on the FP7  audit  campaign (256 of the 337 audits closed were 
FP7). The FP6 audit campaign is winding down (only 69 FP6 audits remain to be closed). 
Although the proposed audit adjustments do not necessarily correspond to the actual financial 
recovery  made,  it  is  worth  noting  that  the  cumulative  amount  of  proposed  adjustments  at 
funding level for FP6 is almost EUR 47 million in favour of the Commission. 
The FP6 representative error rate stands at -3,4% with 20 representative results still pending. 
The FP7 representative error rate stands at -4,2%; the fact that it is higher , according to the 
data  available,  is  explained  by  a  focus  on  beneficiaries  that  had  not  been  audited  before; 
because  of  the  planning  constraints  agreed  among  the  External  Audit  functions,  some 
representative audits on beneficiaries already audited could not be launched. 
The  analysis  of  the  adjustments  through  either  ex-ante  or  ex-post  controls  just  shows  how 
many of the errors are identified through ex-post controls, and how insignificant the effect of 
ex-ante controls is by comparison. For FP6, 91% of the net corrections are identified through 
ex-post controls. Yet, most of the adjustments are errors of small or medium seriousness. 49% 
of the FP6- and 63% of the FP7-errors fall in the category "small". 
Therefore, it is believed that the vast majority of errors arise either from misunderstandings of 
the  rules  or  a  lack  of  attention  to  the  detail  of  the  provisions  of  the  grant  agreements  and 
associated guidelines, despite further efforts for simplification. These efforts also concern the 
FP7  rules  and  procedures,  and  reference  can  be  made  to  the  Commission  Decision 
C(2011)174.07  of  24  January  2011  introducing  new  criteria  for  the  acceptance  of  average 
personnel costs, for SME owner-managers, and establishing a Research Clearing Committee 
to streamline procedures, working methods and interpretations within the Research family of 
DGs towards the outside world. 
In  parallel,  in  order  to  reduce  the  audit  burden  on  contractors,  the  Commission  adapted  its 
sampling  method  to  arrive  at  a  representative  error  rate  for  the  whole  of  the  research 
expenditure.  On  November  8th  2011,  the  ABM  confirmed  that  the  Research  Commission 
services  could  move  to  a  common  representative  sample.  Yet,  this  initiative  alleviates  only 
partially  our  important  efforts  to  streamline  operations  between  the  different  External  Audit 
Units. The different fora of the CAR, the ESC, the FAIR, the MASR and the JAC (their roles 
are described in this report) serve that purpose, but given the fact that DG RTD is chef-de-file 
in these, the efforts of coordination are considerable. 
Page 5 of 51 
 

CONFIDENTIAL 
In addition,  the need for a minimum  degree of co-ordination  with  the JTIs became  apparent 
over the  year. They had  already  developed their  own audit strategies  "harmonised" with  the 
overall FP7 Audit Strategy, but this year they launched their first series of batches. The need 
for access to a series of common IT tools became therewith apparent. 
DG  RTD  intensified  its  collaboration  with  the  Court  of  Auditors,  with  a  total  of  21  joint 
audits done. The strengthening of the fraud detection capabilities also meant that there were 
more audits  done as  a result of suspicions  of irregularities (21 audits).  In  this context,  more 
intensive use was made  of the advanced  IT tool  CHARON/DAISY facilitating investigation 
and analysis. The Unit contributes to the fraud awareness trainings organised in DG RTD, and 
initiatives are developed to identify plagiarism and/or double funding. 
Internationally,  RTD  M.1  co-hosted  with  the  US  National  Science  Foundation,  the  9th 
International Workshop in Science and Research Funding in Brussels. 
It  is  worthwhile  noting  as  well  that  internal  procedures  have  been  further  strengthened  with 
the  formal  integration  of  milestones  of  the  audit  workflow  in  AUDEX  (the  new  audit 
management  information  system  introduced  in  2011),  and  with  further  enhancements  to 
quality controls. 
As concluding remarks, the External Audit Units can be proud of the fact that the European 
Court of Auditors gave a positive opinion on the ex-post financial audits part of its assessment 
of selected supervisory and control systems in Research. This positive assessment was further 
confirmed by the IAS in its audit on "DG RTD's Control Strategy for on-the-spot controls and 
fraud prevention and detection". 
 
Page 6 of 51 
 

CONFIDENTIAL 
1. 
BACKGROUND 
1.1.  Introduction 
The purpose of this  document is  to  report on the ex-post audit activities in  DG RTD during 
2011,  using  the  numerical  results  of  the  verifications  carried  out  and  providing  feedback  on 
relevant  qualitative  issues.  This  report  also  contributes  to  the  assurance  statement  of  the 
Director General on the legality and regularity of financial transactions in DG RTD's Annual 
Activity Report. 
 
1.2.  Legal background 
For FP6, the legal basis for the External Audit activity is Annex III point 2, paragraph 7 of the 
Decision n° 1513/2002/EC of the European Parliament and of the Council, and Article 18 of 
Regulation  (EC)  n°  2321/2002  of  the  European  Parliament  and  of  the  Council.  For  FP7, 
reference  must  be  made  to  Article  5  of  the  Decision  n°  1982/2006/EC  of  the  European 
Parliament  and  of  the  Council,  and  Article  19  of  Regulation  (EC)  n°  1906/2006  of  the 
European Parliament and of the Council. 
 
The model contract for the 7th Framework Programme (Annex II, Article 22) states that: 'the 
Commission  may,  at  any  time  during  the  contract,  and  up  to  five  years  after  the  end  of  the 
project,  arrange  for  audits  to  be  carried  out,  either  by  outside  scientific  or  technological 
reviewers or auditors, or by the Commission departments themselves including OLAF
'.  
 
Similar  provisions  are  foreseen  in  the  model  grant  agreement  for  the  6th  Framework 
Programme (Annex II, Article 29).  
 
1.3.  The mission of the External Audit Units 
The External Audit Units provide a level of reasonable assurance to senior management and, 
ultimately,  to  the  Discharge  Authority  (European  Parliament  and  Council)  on  whether  DG 
RTD contractors are in  compliance with  the terms  of the  DG RTD  contract(s).  This  is  done 
through  the  execution  of  ex-post  financial  audits;  ex-post  audit  results  provide  a 
representative  error  rate  and  initiate  the  budgetary  corrections  managed  by  the  operational 
services.    Thus,  the  External  Audit  function  contributes  to  the  protection  of  the  European 
Union’s financial interests. 
Since 2008, the responsibilities related to External Auditing are attributed to two Units in DG 
RTD: RTD M.1, which is responsible for strategy and planning coordination, in-house on-the-
spot audits and back-office work1; and RTD M.2, which is responsible for outsourced on-the-
spot  audits  and  for  the  implementation  of  the  audit  certification  policy.  The  mission 
statements of both Units are in Annex I. 
                                                 
1 Back-office work refers to a number of tasks in support of the auditing function including audit information systems and data maintenance, 
batch preparation, extrapolation, management reporting and a variety of administrative tasks. 
Page 7 of 51 
 

CONFIDENTIAL 
1.4.  Role within the control framework activities of DG Research & Innovation 
Ex-post audit activities need to be seen as part of the overall integrated control framework put 
in place by the Directorate General. Internal control activities include all ex-ante and ex-post 
evaluations, controls, financial and scientific verifications and monitoring tools.  
 
However, in  the area of  grant  management for  research  expenditure, the focus remains very 
much  on  controls  after  payment  (ex-post),  avoiding  controls  before  payment  (ex-ante)  as 
much  as  possible.  This  is  a  conscious  decision  with  the  aim  of  reducing  the  ex-ante 
administrative  burden  as  much  as  possible  and  therefore  shortening  the  average  time-to-pay 
period. 
 
Accounting  transactions  included  in  the  cost  statements  are  processed  through  the  internal 
control systems of beneficiaries and checked by their certifying auditors (where appropriate), 
who then issue an audit certificate. The costs claimed by beneficiaries are thereafter checked 
by  means  of  desk  reviews  by  the  Commission's  Project  Officers  (scientific  and  financial) 
before  payments  are  made.  The  use  of  certifying  auditors  has  been  adapted  under  the  7th 
Framework  Programme  (FP7).  Simulation  exercises  have  shown  that  around  80%  of  the 
transactions for which an audit certificate was needed under FP6 would no longer require an 
audit certificate in FP7. As a counterweight, ex-ante certification procedures were introduced 
for indirect costs' methodologies and for average personnel costs. 
 
The  control  chain  described  above,  which  operates  before  any  ex-post  financial  audits  are 
carried  out,  is  considered  in  the  overall  evaluation  of  risk  and  of  the  External  Audit  results. 
Close cooperation exists between auditors and Operational  Units in the preparation phase of 
an audit, as well as in the implementation phase of the audit findings (draft audit reports are 
always sent for comments to the Operational Units).  In a limited number of audits closed in 
20112, RTD Project Officers did not agree with the findings of the draft report. However, final 
audit reports always took – as much as possible – all their comments into account. 
 
In  the  course  of  2011,  together  with  other  RTD  services,  the  External  Audit  Units  were 
actively  involved  in  the  preparation  of  some  key  documents  which  were  part  of  the  Inter-
Service  Consultation  on Horizon  2020.  Our  contributions  were  requested  for  the  drafting  of 
the  details  of  the  management  and  control  systems  framework  to  be  put  in  place  for  the 
Horizon 2020 Rules for Participations. To that end, we were invited to share our expertise on 
matters  such  as  the  eligibility  of  funding,  the  definition  of  scale  of  unit  costs,  productive 
hours, flat rates, all types of certificates … and more generally on accounting, auditing, anti-
fraud and internal control matters. 
 
                                                 
2 An exact figure cannot be given, since this is not traced centrally. 
Page 8 of 51 
 

CONFIDENTIAL 
2. 
ACTIVITIES 
2.1.  The audit campaigns 
Preliminary  remark:  Audits  can  be  either  done by  the  European  Commission  auditors  (in-
house  audits)  or  outsourced  to  an  external  audit  firm  (batch  audits)  under  a  framework 
contract. The aim is to have at least 25% of the audits carried out in-house. 
  
2.1.1. 
The FP6 audit campaign  
The FP6 Audit Strategy (FP6 AS), established after the critical Discharge procedure in 2006 
and  intended  to  cover  the  period  2007-10,  focused  on  increasing  the  number  of  audits, 
improving  the  consistency  of  approach  and  the  coherence  of  conclusions,  ensuring  more 
homogeneous audit policies among the research DGs of the Commission, calculating reliable 
and representative error rates, and introducing the extrapolation procedure.  
 
FP6 audits can be grouped under three strategic strands: 
 
  TOP: this was a selection of the beneficiaries which received the most money from 
the  Commission.  The  DG  RTD  list  of  top  beneficiaries  consists  of  228  contractors 
which received 50% of the FP6 budget managed by DG RTD. All beneficiaries in this 
sample  have  been  audited  at  least  once  (on  at  least  three  participations)  and,  where 
necessary,  further  audits  were  carried  out  in  order  to  confirm  the  presence  or  not  of 
systematic material errors for each beneficiary. 
  MUS:  a  selection  of  161  beneficiaries  was  taken  from  the  non-TOP  DG  RTD 
population using the monetary unit sampling technique. One audit was carried out for 
each of them.  
  RISK: the audits of this strand are intended to have a corrective effect on the amount 
of errors present in the DG RTD population. Beneficiaries are selected on the basis of 
different risk profiles, and the results of these audits are not taken into account for the 
calculation of the representative error rate. 
 
At the end of 2011, FP6 figures are as follows:  
 
Table 2.1  
EC share of the accumulated 
Number 
EC share of 
adjustments in favour of the EC 
 
 
of 
Number of 
the costs 
Annual 
Cumulative 
Residual 
audits 
participations 
accepted by 
error 
error rate 
Representative 
error 
Year 
closed 
audited 
the FO (€)  Amount (€) 
rate % 

error rate % 
rate % 
Up to end of 2010 
1082 
2499 
1,039,915,549 
-39,558,926 
  
-3.80% 
 
 
2011 
79 
209 
74,285,183 
-7,394,929 
-9.95% 
-4.21% 
 
 
Total 
1161 
2708 
1,114,200,731 
-46,953,855 
  
  
 
 
of which, TOP + MUS 
545 
1374 
566,943,257 
-19,247,797 
  
  
-3.40% 
-2.48% 
 
 
The FP6 AS assumed that most of the errors found while auditing would be of a systematic 
nature, and that 750 audits would be sufficient to eliminate them from at least 40% of the DG 
Page 9 of 51 
 

CONFIDENTIAL 
RTD FP6 budget and, in doing so, to achieve the control objective of a residual error rate of 
2% or lower at the end of the multiannual FP6 audit campaign. 
 
The  mid-term  review  of  the  FP6  AS  reported  how  this  assumption  was  too  optimistic  after 
finding that the proportion of systematic errors was much lower than anticipated (35.3% of all 
errors  in  terms  of  amounts  in  DG  RTD  at  the  end  of  2011).  Increasing  the  total  number  of 
audits  was  then  considered  necessary  to  keep  alive  the  possibility  of  still  correcting  enough 
errors to be below 2%.  
 
At the end of 2011, 1161 FP6 audits have been closed in DG RTD, and when including the 
audits  still  ongoing,  the  total  will  eventually  be  around  1230.  Audit  coverage3  from  these 
audits and those undertaken by other Commission services stands at  59.5% of the RTD FP6 
budget, and the residual error rate is 2.48%, up from 2.16% at the end of 2010. This increase 
in the residual error rate is the consequence of an increase in the representative error rate from 
2.98% last year to 3.40%.  
 
Last  year we carried out an estimation of how many more FP6 audits would still have to be 
launched in order to reach a residual error rate below the control objective of 2%, and whether 
it would be cost efficient to do so. The conclusion was that it would not4, bearing also in mind 
that  the  FP6  representative  error  rate  will  remain  a  moving  target  until  all  representative 
audits have been closed (there are 20 still ongoing at the end of 2011), and that it was better to 
devote more resources to the FP7 campaign. The fact that the residual error rate has increased 
at the end of 2011 confirms that this was the right decision; otherwise a new lot of FP6 audits 
would have had to be launched again now in order to bridge the bigger gap between the rate 
and 2%. No further FP6 audits will be launched in future other than those related to fraud and 
irregularities investigations, joint audits with ECA or audits requested by operational services. 
 
Instead  of  launching  more  FP6  audits,  and  using  their  forecast  cost  inefficiency  as  an 
argument,  Commission  services  put  their  hopes  on  the  adoption  of  a  new  tolerable  risk  of 
error  (=TRE),  and  on  an  acceptance  by  the  budgetary  authorities  that,  in  the  area  of  direct 
research  expenditure,  an  error  rate  higher  than  2%  ought  to  be  tolerated.  Had  TRE  been 
already adopted, a residual error rate of 2.48% would be regarded as tolerable. Unfortunately, 
this is not yet the case, although the Commission is considering using a different threshold for 
internal management purposes. 
 
Although  it  was  originally  foreseen  that  the  FP6  audit  campaign  would  finish  at  the  end  of 
2010, there are two main reasons why there are still 69 ongoing FP6 audits: first, the mid-term 
review made it necessary to extend that period because of the increased efforts in cleaning the 
budget  and  in  reducing  error  rates;  and  second,  because  some  of  the  ongoing  audits  have 
unearthed  a  number  of  complex  legal  issues  which  take  a  long  time  to  resolve,  extending 
consequently the duration of the audits affected. The objective is to finalise all FP6 ongoing 
audits in the course of 2012.  
 
                                                 
3 Audit coverage includes both the amounts directly audited and the non-audited amounts received by audited 
beneficiaries from which systematic errors have been removed. See table 3.15. 
4 For a full explanation, see last year's report Ares(2011)283720, p.9, and Ares(2011)824080 Description of the 
analysis on the cost-effectiveness of controls included in DG RTD's 2010 Annual Activity Report. 
 
Page 10 of 51 
 

CONFIDENTIAL 
2.1.2. 
The FP7 audit campaign  
 
In FP7, audits are categorised as: 
  Representative:  using  statistically  representative  sampling  methods  for  selection,  a 
number of audits are undertaken for the purpose of accurately identifying the amount 
of error present in the population (i.e. representative error rate).   
  Corrective:  audits  are  selected  using  a  variety  of  criteria,  trying  to  maximise  their 
potential corrective effect. 
 
Table 2.2 
EC share of 
EC share of the accumulated 
Number 
the costs 
adjustments in favour of the EC 
 
 
of 
Number of 
accepted 
Annual 
Cumulative 
Residual 
audits 
participations 
by the FO 
Amount 
error 
error rate 
Representative 
error 
Year 
closed 
audited 
(€) 
(€) 
rate % 

error rate % 
rate % 
Up to the end of 2010 
185 
260 
48,394,236 
-2,341,742 
  
-4.84% 
 
 
2011 
256 
582 
147,262,681 
-5,041,762 
-3.42% 
-3.77% 
 
 
Total 
441 
842 
195,656,917 
-7,383,504 
  
  
-4.19% 
-3.65% 
 
 
The  FP7  audit  campaign  completed  its  second  full  year  in  2011.  343  audits  were  launched, 
and 256  were closed.  In January, a second RTD-only  representative sample was taken in  an 
attempt to increase the number of results available by year end,  and to try to avoid the issue 
we experienced at the end of 2010 of not having enough results to be able to provide the level 
of assurance expected from ex-post audits.  
 
Taking  a  second  RTD-only  sample  by-passed,  to  a  certain  extent,  the  planning  constraints 
highlighted in last year's report which had been the main reason for not having enough results 
by  the  time  the  2010  AAR  was  written.  However,  planning  constraints  also  affected  how 
many  audits  from  the  second  sample  could  be  launched  straightaway,  and  these  constraints 
continued to be a serious hindrance to the implementation of the FP7 AS in RTD5.  
 
As  a  response  to  this  problem,  the  External  Audit  Units  in  RTD  launched  in  February  an 
initiative to change the assurance system for research Commission services towards a unique 
assurance  model.  After  lengthy  negotiations  in  the  CAR,  the  Research  Clearing  Committee 
and the ABM, an agreement was reached in November to use a single representative error rate 
for  all  services  from  2012  onwards,  calculated  on  the  basis  of  results  from  a  common 
representative  sample.  This  common  sample  will  render  obsolete  the  planning  clashes 
inherent  to  a  system  based  on  multiple  samples  taken  on  a  population  of  mostly  common 
beneficiaries, and the reputational risks of such approach.  
 
For  the  moment,  though,  we  still  report  on  the  basis  of  our  own  samples.  A  total  of  108 
representative  results  (the  January  2010  and  January  2011  samples  combined)  have  been 
collected  by  year  end.  It  was  interesting  to  follow  the  progression  of  the  FP7  representative 
error rate as more and more results came in during the year. A bigger body of results increases 
the precision of the rates, and it became more and more clear that the result would turn around 
4%.  
                                                 
5 See last year's report, section 1.5.3 
Page 11 of 51 
 

CONFIDENTIAL 
 
Next  year's  representative  rate  will  be  based  on  the  results  of  the  common  sample,  half  of 
which will be results from other services. 
 
2.1.3. 
Additional auditing commitments 
There are additional auditing commitments in the following areas:  
 
  Fusion: the current arrangement with RTDK is to audit all Fusion associations on a 
cyclical basis. Each association is audited once every 3-4 years. In 2011, 7 audits were 
launched, 3 of which were outsourced to an external audit company (Belgium, UK and 
Switzerland),  while  4  were  executed  with  own  resources  (the  Netherlands,  Romania, 
Ireland, Poland). 
  Coal  and  Steel  (C&S):  a  small  number  of  audits  are  launched  every  year  on 
beneficiaries  who  receive funds  from  the Research Fund for Coal  and Steel  (RFCS), 
which  is  managed  by  RTD  G.  RFCS  projects  do  not  receive  funding  from  the 
Framework Programmes, and are therefore not considered as FP-related. For 2011 (in 
line  with  the  procedure  started  in  2010),  a  selection  of  contractors  was  made  in  the 
following way: a list of all RFCS contract payments done in 2010 was obtained from 
the responsible Unit (RTD G.5) by the RTD M.1 back-office. Then, all pre-financing 
payments  were removed from  the list,  leaving  only midterm  and final  payments  (i.e. 
only  the  ones  for  which  financial  reports  had  been  submitted).  The  sum  of  these 
remaining  payments  was  established  for  each  contractor  in  the  database;  these  totals 
per  contractor  were  ranked  in  descending  order  and  the  5  biggest  amounts, 
representing the biggest contractors, were selected. The contractors previously covered 
by  Coal  &  Steel  audits  executed  since  2008,  were  omitted  from  this  selection.  Each 
audit covers a maximum of 3 randomly selected projects of  each selected contractor. 
From  this  selection,  four  audits  were  executed  in  2011  and  one  was  postponed  to 
2012. 
  Audits on Request (AoR): audits in this category are performed at the request of the 
operational services, and they are normally quite specific in their scope. Following the 
reception  of  such  a  request,  RTD  M.1  gathers  detailed information  from  the 
operational service, which is combined with information from other sources.  
If  needed,  an  ad-hoc  meeting  with  the  Audit  Liaison  Officer  of  the  Directorate  from 
which  the  audit  request  originated  is  organised.  The  project  officer  as  well  as  the 
financial officer is welcome to participate in this meeting. The meeting allows getting 
a clearer view of the issue and/or reaching a common position on the measures to be 
taken. 
The  Audit  on  Request  procedure  has  been  adapted  in  2011.  Ad-hoc  meetings  have 
replaced the previous quarterly meetings. The purpose of these ad-hoc meetings is to 
get a broader feedback and a quicker decision as to whether or not to perform an audit. 
If the audit-on-request relates to a potential risk of irregularity, the opinion of the RTD 
M.1-OLAF Team is gathered before taking a final decision. 
Audits  on  request  are  considered  to  be  a  risk-based  audit  under  FP6  or  a  corrective 
audit under FP7. 
The full process is customer–oriented. For requests which are not accepted, RTD M.1 
tries  to  provide  the  operational  service  with  advice/recommendations  concerning 
Page 12 of 51 
 

CONFIDENTIAL 
alternative measures they may wish to implement in order for them to ensure that costs 
are eligible. 
 
In eight  cases  in  2011,  the  audit  request  was  accepted  and  the  related  audit  mission 
was  integrated  into  the  usual  audit  planning.  In three  cases,  the  need  to  carry  out  a 
financial or scientific audit was not recognised.  
  
For  the  remaining  six  cases,  following  the  preliminary  analysis  of  RTD  M.1  and 
meetings  with  the  operational  services  when  needed,  they  have  been  requested to 
provide additional information or to carry out supplementary steps to clarify the issue 
or allow the operational service to get a better assurance without the (immediate) need 
to perform an audit. These cases will be further followed up in 2012. 
  
The Units that request the audits are always duly informed about the decision that has 
been taken by RTD M.1, as well as of the underlying reasons.   
 
  Joint Audits with the European Court of Auditors (ECA):  
 
Table 2.3: Joint audits with ECA  
DAS 
Audits by 
campaign 
ECA 
Joint Audits 

Disagreement on conclusions 
2010 
13 

62% 

2011 
19 
13 
68% 

Total 
32 
21 
66% 

 
 
2011 was characterised by an increased collaboration with the ECA. The Commission 
auditors  joined  the  ECA  auditors  in  as  many  missions  as  possible.  The  experience 
gathered in the last two years allows DG RTD to draw conclusions on the added value 
of accompanying the ECA in the implementation of the DAS audit campaigns. We can 
now conclude that this experience is positive as it enhances convergence of views and 
results.  It  also  helps  to  prepare  DG  RTD's  comments  in  case  of  disagreement  on 
conclusions. 
 
Taking into account the increase in the number of joint audits, a set of procedures has 
been formalised in order to clearly define the duties of all stakeholders.  
 
More  generally,  and  within  the  institutional  mandates  of  the  Commission  and  the 
Court, RTD M.1 and M.2 participated in joint meetings between the ECA, the DGs of 
the  Research  family  and  Commission  central  services,  which  were  organised  to 
discuss  methodological  issues  and  obtain  mutual  understanding  of  each  other's 
practices. 
 
Finally, it is important to mention that, for the Declaration of Assurance for 2010, the 
ECA gave a positive opinion on the ex-post financial audits part of its assessment of 
selected supervisory and control systems in Research and other internal policies6. This 
                                                 
6 Chapter 6 'Research and other internal policies' of ECA's Annual Report 2010, Annex 6.2. 
Page 13 of 51 
 

CONFIDENTIAL 
is an important achievement because it acknowledges the long way that DG RTD has 
come from the disastrous Discharge in 2006 to this positive assessment in 2011. 
  Technical  Audits:  The  Commission's  Internal  Audit  Service  recommended 
implementing, where applicable, on-site technological and scientific audits as foreseen 
by  Art.  II.23,  Annex  II  of  the  FP7  Grant  Agreement  and  Art.  II.29,  Annex  II  of  the 
FP6  Contract  (cf.  Recommendation  No.  8  of  the  IAS  audit  on  'ex  post  control'  of 
2006). The objective of these technological and scientific audits is to look at research 
projects implemented under the EC's FP funding from an independent scientific view, 
and complementary to the usual project reviews that take place during the lifetime of a 
project. 
 
In  2010,  RTD  M.1  closed  the  2  pilot  projects,  had  2  requests  for  joint  financial  and 
scientific audits initiated and was asked for support on 2 scientific audits. In 2011, by 
comparison,  RTD  M.1  only  received  one  new  request  for  a  scientific  audit,  while 
another  technical  audit  is  still  ongoing.  Despite  the  positive  outcome  of  the  pilot 
exercise, these audits have not gained in importance. 
 
Considering  the  slowdown  in  audit  requests  by  the  operational  services  and  certain 
reluctance from the operational Directorates to cooperate in scientific audits, RTD M.1 
has developed a new procedure to launch technological and scientific audits on its own 
initiative. This new procedure will be submitted for approval to our director in the first 
semester of 2012. 
 
2.2.  Cross-RDG coordination 
The  adoption  of  common  corporate  audit  strategies  requires  close  coordination  between  the 
Research  Commission  services  in  a  significant  number  of  areas.  DG  RTD  is  the  chair  of 
various  committees  for  which  it  also  provides  the  secretariat.  This  demands  a  significant 
investment of resources, given the present RDG governance.  Indeed, DG RTD has signalled 
that the Commission is running serious cross-cutting risks in relation to (i) the co-ordination 
of  audit  planning  and  (ii)  a  coherent  and  consistent  presentation  of  audit  results.  Both  these 
cross-cutting risks were brought to the attention of the Commission central services in January 
2010  (see  section  2.1.2).  In  2011  they  led  to  the  Common  Representative  Sample  for  the 
Research family. 
 
2.2.1.  Coordination of audits in the Research family (CAR)  
The  main  coordination  forum  is  the  'Coordination  group  for  external  Audit  in  the  Research 
family'  (CAR).  The  CAR  tries  to  ensure  a  coherent  approach  towards  contractors  and 
coordinates  policy  and  operational  matters  related  to  the  implementation  of  the  Audit 
Strategies. Chaired by RTD M.1, the CAR convened 14 times during 2011 (on average once 
every three weeks outside the holiday periods). By the end of 2011, the audit services of the 
three  Joint  Technology  Initiatives  (JTIs)7  linked  to  DG  RTD  joined  the  CAR.  This  is 
                                                 
7 Aeronautics and Air Transport (Clean Sky), Innovative Medicines Initiative (IMI) and Hydrogen and Fuell 
Cells Initiative (FCH) 
Page 14 of 51 
 

CONFIDENTIAL 
recognition  of  the  importance  of  coordinated  audit  planning  and  of  sharing  audit  tools  and 
results between research Commission services8 and their JTI counterparts.  
  
The  large  majority  of  topics  discussed  by  the  CAR  during  2011  were  related  to  either  the 
steps required to finalise the FP6 audit campaign or to the implementation of the FP7 one: 
 
  Planning  of  audits:  until  now,  the  Commission  accountability  scheme  has  been 
based on providing representative error rates for each Research service for their part 
of the FP expenditure. Each Research service has to  perform  a minimum number of 
audits  to  obtain such a representative error rate,  even if the budget  of that  service is 
only  a  small  fraction  of  the  total  research  budget.  This  results  in  a  high  number  of 
audits  with  common  beneficiaries  frequently  selected  by  two  or  more  services, 
leading  to  "planning  clashes".  As  outlined  above,  this  led  to  the  proposal  for  a 
common audit sample.  In November 2011, the ABM9 agreed to this proposal. In the 
run-up of the ABM Decision, this issue was discussed in depth in the CAR.  
  The  CAR  deals  with  numerous  issues  related  to  the  eligibility  of  costs.  Given  the 
approval  of  the  Commission  Decision  C(2011)174  of  24  January  2011  on 
simplification  of  the  rules  for  research  financing10  ,  discussions  took  place  on  the 
relationship of the various instruments in place for the assessment of eligible costs11. 
In  order  to  reduce  the  observations  with  limited  impact  it  was  decided  to  apply  a 
materiality threshold of 0.5% for errors to be reported, and to apply rules on how to 
"net 
off" 
proposed 
adjustments 
(positive 
vs. 
negative, 
see 
2.3.1).  
A  series  of  other  eligibility  issues  were  also  discussed  (productive  hours,  bonuses, 
interest  on  pre-financing,  potentially  overlapping  subsidies  [the  Spanish  research 
support  scheme  "Torres  Quevedo"],  catering  costs,  fair  allocation  of  indirect  costs, 
…). 
  The precise calculation of error rates was discussed. In particular, it was examined 
how  the  budgetary/financial  effect  of  errors  could  be  presented  instead  of  reporting 
only  on  errors  that  indicated  a  non-compliance  with  the  legal  and  regulatory 
framework. 
  Changes  to  the  audit  tools12  were  discussed  and  adopted  following  the 
aforementioned  Commission  Decision.  The  adoption  of  a  privacy  statement  by  DG 
RTD  and  INFSO  led  to  the  adjustment  of  the  Letters  of  Announcement  of  these 
research services.  
  Information on relations with external parties (the European Court of Auditors, the 
external  audit  firms,  the  Joint  Undertakings)  was  also  shared  in  the  CAR.  Specific 
audit, planning and collaboration issues were discussed.  
 
                                                 
8 DG RTD, DG INFSO, DG MOVE, DG ENER, DG ENTR, DG EAC and the two Executive Agencies ERCEA 
and REA. 
9 ABM=Activity Based Management Committee in which there are also representatives of the central services 
(SG, DG BUDG, etc.) 
10 The Commission Decision covers the extended scope for the acceptance of average personnel costs; flat-rate 
financing for SME owners; the establishment of a Research Clearing Committee (RCC). 
11 The Key Words Group, the Research Clearing Committee, the FP7 Guide to Financial Issues. 
12 For example the F7 Audit Handbook (for internal use by the RDG auditors) and the FP7 Audit Manual (for use 
by the External Audit firms). 
Page 15 of 51 
 

CONFIDENTIAL 
  Information  on  planning,  meetings,  audit  visits,  audit  reports  and  follow-up  was 
shared  on  common  beneficiaries.  This  concerned  mostly  beneficiaries  participating 
in a large number of contracts with various Research services for which extrapolation 
was initiated but temporarily suspended ('centrally managed' cases, see section 2.3.3). 
 
2.2.2. 
Other coordination Committees  
In addition to the CAR, DG RTD chairs a number of other coordination Committees: 
  Extrapolation Steering Committee (ESC, see section 2.3),  
  Frauds and Irregularities Committee (FAIR, see section 2.4),  
  Coordination of relations with the external audit firms, including the Monthly Audit 
Status Meeting (MASR, see section 2.9),  
  Joint Assessment Committee (JAC, see section 2.8)   
  Working Group on Certification of Methodology (WGCM, see section 2.8). 
 
Coordination  is  also  supported  by  a  number  of  IT  tools  known  as  SAR  (Sharing  Audit 
Results) tools (see section 2.7).  
 
 
2.3.  Extrapolation  
Extrapolation remains a key component of the common audit strategy because of its essential 
role in cleaning the budget from systematic material errors.  
 
2.3.1. 
Extrapolation policy and coordination 
The Extrapolation Steering Committee (ESC) has now been working for four years. It ensures 
a  common  approach  to  decisions  related  to  extrapolation.  The  ESC,  in  which  all  Research 
Commission  services13  are  represented,  is  chaired  by  RTD  M.1  and  discusses  and  evaluates 
potential  extrapolation  cases  for  beneficiaries  put  forward  by  an  individual  Commission 
service.  Its  main  aim  and  mandate  is  to  confirm  or  deny  the  systematic  nature  of  the  errors 
reported by the auditors.  
 
The confirmation of the systematic nature of an error triggers a number of coordinated actions 
both by the beneficiary in question and by the Commission services managing the projects in 
which it participates.  
 
The  (2011)174  Commission  Decision  of  24/1/2011  sets  out  new  criteria  on  average 
personnel  costs  
which  lead  to  the  broader  acceptance  of    average  personnel  cost  methods 
used  by  beneficiaries  as  their  usual  cost  accounting  practice.  As  a  result,  the  extrapolation 
process was influenced, reflecting the fact that no extrapolation is launched when the correct 
application of the decision is confirmed. 
 
The extrapolation process is also affected by the decision of the 71st CAR (20/07/2011) to set 
a common reporting materiality threshold (in terms of cumulative net impact of all errors, 
either  positive  or  negative)  of  0.5%  of  the  total  costs  reported  and  audited  for  any  given 
participation.  It  is  now apparent  that each audit report needs to  comply with this materiality 
                                                 
13 As of September 2009, representatives from the agencies (ERCEA and REA) have been participating in the 
ESC. They play a full role in the extrapolation process under FP7. 
 
Page 16 of 51 
 

CONFIDENTIAL 
threshold  and  consequently  no  extrapolation  should  be  initiated  for  any  participation  that 
falls below the threshold. 
 
A major improvement in the extrapolation decision-making process is the netting-off decision 
of  the  72nd  CAR  on  15/09/2011,  which  defines  that  all  systematic  errors  (positive  and 
negative, irrespective of the cost category) are accumulated into one global amount which is 
then used for extrapolation provided that the offsetting balance remains negative. As a result, 
no overall positive amounts are now extrapolated. 
 
Finally, the ESC confirmed this year that extrapolation for potential fraud and irregularities is 
not the appropriate procedure. Therefore it was decided to divert all the relevant cases to the 
FAIR  committee  set  up  to  discuss  these  sometimes  delicate  files  (see  minutes  of  39th  ESC, 
10/11/2011). 
   
In its 10 meetings in 2011, the ESC discussed a total of 151 extrapolation cases, 123 of which 
were approved for extrapolation. Since 2008, a total of 685 cases have been dealt with, 561 of 
which  have  been  agreed  for  extrapolation.  The  following  table  provides  an  overview  of  the 
ESC decisions per Commission service. 
 
Table 2.4 - ESC decisions taken in 2011  
 
 
 
 
 
 
 
 
 
 
 
Agreed 


2  
34 


57 
123 
561 
No 
Extrapolation 


 1 



10 
28 
124 
Total 2010 

12 

38 

15 
67 
151 
685 
 
Experience  gathered  by  the  ESC  allows  for  a  continuous  improvement  of  the  underlying 
extrapolation procedures and principles. Any new issues are often brought to the attention of 
the CAR.  
 
The necessity to establish a materiality threshold not only at the reporting level,  but also at 
the  level  of  extrapolation  
is  an  urgent  requirement  for  the  further  streamlining  of  the  ESC 
process.  Although  the  spirit  of  the  decision  to  apply  a  materiality  threshold  at  0.5%  of  the 
total costs is to prevent initiation of extrapolation triggered by very small amounts, it does not 
necessarily  prevent  the  launching  of  an  extrapolation  request  on  cases  where  the  netted  off 
amount results in very low amounts (lower than 0.5%). The reason for this is that although the 
materiality threshold is set at the participation level, the netting-off is calculated on a global 
audit  level
.  A  decision  to  set  up  a  materiality  threshold  at  the  level  of  extrapolation  would 
definitely support the further streamline of the process.  
 
Instructions were sought on these items from DG RTD management and relevant actions are 
ongoing in the beginning of 2012 (draft note to DG on establishing a materiality threshold on 
the level of extrapolation to mitigate any underlying risks). In the meantime, the ESC has tried 
to  minimise  the  potential  risk  of  inconsistencies  and  of  reputational  damage  to  the 
Commission as much as possible. 
 
2.3.2. 
RTD extrapolation cases 
Over the last four  years, DG RTD has put 330 extrapolation cases on file, of which  184 are 
currently  ongoing,  19  are  under  preparation,  12  have  been  suspended  and  are  centrally 
Page 17 of 51 
 

CONFIDENTIAL 
managed  by  the  audit  Units  RTD  M.1  and  M.2,  28  have  been  closed,  and  for  87  cases 
extrapolation appeared not to be due (no other cost periods to extrapolate to, etc.). 
 
Table 2.5 - Current status of the DG RTD-led extrapolation cases (as of 31/12/11)  
 

 
 
CLOSED 
28 
ONGOING 
184 
ON HOLD (centrally managed) 
12 
NOT APPLICABLE (no 
extrapolation) 
87 
SUBMITTED (audit not yet 
closed) 
19 
Grand Total 
330 
 
2.3.3. 
Extrapolation implementation 
Each  individual  extrapolation  case  can  potentially  affect  numerous  projects  across  the 
Research  Commission  services.  Within  DG  RTD,  the  experience  acquired  so  far  has 
underlined  the  substantial  challenges  in  this  area,  especially  with  regard  to  the  follow-up  of 
the  reception  of  revised  cost  statements  and  the  coordination  of  the  implementation.  To 
address  this  issue,  RTD  M.5  'Management  of  debts  and  guarantee  funds'  acts  as  a  central 
reception point dealing with all extrapolation cases launched from 13 March 2009 onwards. 
  
In a number of extrapolation cases, beneficiaries wish to establish a  dialogue and to provide 
additional  documentation  and  evidence.  Currently,  12  of  such  cases,  usually  for  larger 
beneficiaries,  are  centrally  managed  by  the  audit  Units:    the  extrapolation  process  is 
suspended and all operational services in the Research Commission services are requested not 
to act individually to avoid incoherent actions. 
 
Table 2.6 – Centrally Managed Cases by DG  
 

DG 
DG 
 
DG 
DG 
DG 
REA 
Total  
ENER 
ENTR 
ERCEA 
INFSO 
MOVE 
RTD 


0  



12 
17 
 
For  all  DG  RTD-led  extrapolation  cases,  (i.e.  triggered  by  a  DG  RTD  audit),  so  far  6008 
participations  have  been  identified  as  potentially  affected  by  extrapolation.  Among  these, 
1051 have been implemented (i.e. amount adjusted), 3222 are currently under implementation 
and for 1735 recommendations the extrapolation turned out not to be applicable.  
 
In addition, 144 cases resulting from audits of the other Research Commission services audits 
have  an impact  on  1444 RTD participations, of  which  175 have been implemented,  883  are 
currently under implementation and for 386 recommendations the extrapolation turned out not 
to be applicable. 
 
Page 18 of 51 
 

CONFIDENTIAL 
Table 2.7 – DG RTD participations affected by extrapolation 
 
Non-RTD-led Cases 
Total 
Implementation 
RTD-lead  
non-RTD-
Grand Total 
Status 
Cases 
DG 
DG 
DG MOVE-
ERCEA 
REA 
led Cases 
ENTR 
INFSO 
ENER 
Not applicable 
1735 

12 
351 
20 

386 
2121 
Closed 
1051 

39 
101 
34 
 
175 
1226 
Ongoing 
3222 
82 
110 
511 
117 
63 
883 
4105 
Total 
6008 
83 
161 
963 
171 
66 
1444 
7452 
* ASUR data 
 
Moreover,  for  269  RTD-led  cases,  1700  participations  managed  by  other  Research 
Commission services are equally to be revised as part of the extrapolation process.  
 
Table 2.8 – Cumulative overall adjusted amounts due to extrapolation 
 

On December 31st 
On December 31st 
On December 31st 
 
2009 
2010 
2011 
(-) Adjustments in favour of the Commission 
- 2.707.061,00 
-10.409.202,58 
-16.433.637,21 
(+) Adjustments in favour of the beneficiaries 
140.983,00 
563.244,72 
1.207.039,35 
 
This  table  relates  to  the  implementation  of  extrapolations  managed  by  M.5.  Therefore  only 
overall information is provided here. 
 
2.3.4. 
Extrapolation follow-up activities 
Monitoring  the  actual  implementation  of  extrapolation  is  carried  out  by  RTD  M.4  via  the 
ASUR-EXTRA  tool,  where  the  operational  services  encode  information  on  the  
implementation  of  extrapolation  for  each  participation  concerned.  This  information  in  turn 
serves as the basis for reporting and as input for the follow-up audits to be carried out by the 
audit Units. 
 
As  RTD  M.5  was  charged  only  with  the  management  of  extrapolation  cases  launched  after 
13th  March  2009,  RTD  M.1  initiated  a  follow-up  campaign  on  all  DG  RTD  extrapolation 
cases launched before that date to ensure that extrapolation had been correctly applied by the 
beneficiaries. Each case has been analysed through either an audit on-the-spot or a global desk 
review analysing a number of corrected cost statements received, amount of the adjustments, 
etc. So far, 86 cases have been selected and analysed. Of these, 49 follow-up audits have been 
decided,  of  which  30  were  desk-audits,  1  joint  audit  with  DG  INFSO  and  18  on-the-spot 
audits. Several of these follow-up actions are still ongoing. 
 
Table 2.9 – Follow-up of extrapolation cases launched before 13th March 2009 
 

 
CLOSED 
OPEN 
CANCELLED 
Grand Total 
DESK AUDIT 
24 


30 
 
 
 
 
 
JOINT_AUDIT 

 
 

FIELD AUDIT 
14 

 
18 
Grand Total 
39 


49 
 
 
Page 19 of 51 
 

CONFIDENTIAL 
Future follow-up campaigns will depend on requests from RTD M.5. 
 
 
2.4.  OLAF cases  
Table 2.10 - Situation OLAF cases on 31/12/2011 
 
New cases transmitted to OLAF by DG RTD in 2011 

New  cases  concerning  DG  RTD  initiated  directly  by 

OLAF in 2011 
OLAF "non case" decisions on DG RTD cases in 2011 
11 
OLAF  investigations  concerning  DG  RTD  cases 

closed  with  administrative/financial/judicial  follow-up 
in 2011 
Total ongoing OLAF investigations (initial assessment 
24 
/external  investigation  opened),  including  cases  of 
(including 7 cases initiated by DG INFSO with 
previous years 
common beneficiaries) 
Total  closed  cases  in  administrative/financial/judicial 
18 
follow-up, including cases of previous years 
 
 
RTD  M.1, in  charge of relations with  OLAF  on  external  investigations14, transmitted 8 new 
cases of suspected irregularities to  OLAF in  2011.  In 2  cases, the suspicion  of irregularities 
was reported by the operational services in charge of the projects; in 4 cases, the decision to 
transfer  the  case  to  OLAF  was  taken  following  on-the-spot  audits  performed  by  RTD  M.1 
auditors.  In  1  case,  an  external  informant  raised  allegations  of  potential  irregularities;  in 
another  case,  the  information  came  from  a  press  article.  In  addition,  according  to  our 
knowledge,  OLAF  received  3  complaints  directly  from  individuals  concerning  potential 
irregularities in EU-funded research projects managed by DG RTD. 
 
In 2011, OLAF classified 11 DG RTD cases as "non cases"15; 5 further cases, for which the 
allegations  of  irregularities  were  confirmed  in  the  OLAF  investigation,  were  closed  and  are 
currently followed up at administrative, financial and/or judicial level. 
 
Taking into account also the OLAF cases relevant to DG RTD from previous years, as of 31 
December 2011, RTD  M.1  manages  in  total  24 open cases (7 of them are cases initiated by 
DG  INFSO  on  common  beneficiaries),  as  well  as  18  cases  which  OLAF  had  closed  with 
administrative,  financial  and/or  judicial  follow-up,  requiring  follow-up  and/or  monitoring  at 
DG RTD level. 
 
RTD  M.1  has  been  actively  involved  in  the  implementation  of  the  DG  RTD  Anti-Fraud 
Strategy and Action Plan, in particular for the fraud detection part, and has contributed to the 
current  revision and re-prioritisation of the strategy in  line with  the Commission Anti-Fraud 
Strategy adopted on 24 June 2011 and the recommendations of the IAS  audit on DG RTD's 
Control Strategy for on-the-spot controls and fraud prevention and detection of 29 September 
2011.  
 
                                                 
14 Unit RTD.01 is in charge of internal investigations relating to staff. 
15 A matter is classified as a "non case" where there is no need identified by OLAF to go further with a criminal 
investigation. "Non cases" result from assessments that conclude that the EU interests appear not to be at risk 
from irregular activity. 
Page 20 of 51 
 

CONFIDENTIAL 
In  this  respect,  the  unit  has  further  intensified  its  fraud  detection  activities,  notably  through 
extensive  use  of  CHARON/DAISY  (see  2.7),  an  advanced  IT  tool  facilitating  investigation, 
analysis and display of complex information and relationships in Framework programme data, 
to select and prepare fraud risk-based audits. Several targeted data searches and inquiries were 
performed with CHARON/DAISY on the basis of different risk criteria (e.g. dependency on 
EU funding). In 2011, the Unit initiated 21 fraud risk-based audits.   
 
As a priority, RTD M.1 is now focusing on the development of tools and procedures to detect 
plagiarism and double funding in research projects, in close cooperation with other Research 
DGs. Since October 2011, monthly training sessions are organised by RTD M.4 together with 
RTD  M.1  auditors  to  raise  awareness  of  DG  RTD  staff,  in  particular  project  and  financial 
officers, to identify and mitigate fraud risks in RTD projects.  
 
In 2011, two FAIR (Fraud and Irregularities in Research) Committee meetings were held with 
representatives from the other Research DGs and Executive Agencies to coordinate activities, 
exchange  information,  and  share  experiences  and  best  practices  on  OLAF-related  matters, 
fraud prevention and detection, and on-going and potential irregularities and fraud cases. 
 
As  far  as  the  relations  with  OLAF  are  concerned,  RTD  M.1  is  closely  cooperating  with  the 
OLAF  services.  Regular  contacts  and  meetings  at  operational  level  took  place  between  DG 
RTD  staff  and  OLAF  investigators  to  discuss  and  exchange  information  on  specific  cases. 
Furthermore,  RTD  M.1  participated  in  two  meetings  of  the  Fraud  Prevention  and  Detection 
Network  (FPDNet).  Representatives  of  the  various  Commission  services  and  Executive 
Agencies participate in this forum chaired by OLAF.   
 
From  22  to  24  June  2011,  RTD  M.1  and  the  US  National  Science  Foundation  –  Office  of 
Inspector  General  –  co-hosted  the  9th  International  Workshop  on  Accountability  in  Science 
and  Research  Funding.  The  workshop  brought  together  representatives  from  international 
research  organisations  responsible  for  the  oversight  of  research  to  discuss  and  exchange 
information  and  experiences  on  accountability  challenges  in  science  and  research  funding. 
The  workshop  focused  on  three  main  topics:  1)  striking  the  proper  balance  between 
accountability,  sound  financial  management,  and  the  need  for  simplification;  2)  identifying 
and managing fraud risk from the perspective of a research funding organisation; and 3) using 
technology for fraud prevention and detection. 
 
2.5.  Management and quality control tools 
2.5.1.  Management and Quality Controls 
RTD M.1 and M.2 reinforced during 2011 the supervision of their day-to-day activities. 
 
During the first semester of 2011, the External Audit Units have developed a new dashboard 
which allows them not only to have an overview of progress towards audit closing targets but 
also to follow-up on the status of the audit workflow of individual audits versus pre-defined 
milestones. 
 
When  comparing  with  historical  data  either  from  previous  framework  programmes  or  the 
beginning of the current one,  - it emerges that almost at all stages of the workflow, average 
times  have  decreased  from  FP5,  to  FP6  and  to  FP7.  In  other  words,  audits  are  being  closed 
quicker  than  in  the  past.  Time  between  the  Letter  of  Announcement  and  the  Letter  of 
Conclusion was 341 days for FP5, 302 for FP6 and is 278 days for FP7 so far. 
Page 21 of 51 
 

CONFIDENTIAL 
 
In  addition  to  this  essential  set  of  key  performance  indicators  (KPI),  the  Detailed  Audit 
Summary  Sheets  (DASS)  which  summarise  the  results  of  the  audit  were  integrated  into 
AUDEX (see section 2.7).  
 
Furthermore,  since  mid-2011,  quality  control  on  the  audit  reports  of  RTD  M.1  has  been 
strengthened  in  order  to  ensure  that  (1)  information  between  all  documents  is  consistent  (2) 
compulsory  steps/documents  according  to  audit  standards  and  procedures  are  filled  in,  (3) 
specific internal instructions (e.g. materiality threshold, netting-off for reporting purpose, …) 
are duly applied, (4) the Commission's document management policy (e-Domec) is properly 
applied.  
 
2.5.2.  Keywords Working Group (KWG) 
RTD  M.1  and  M.2  collaborate  in  the  Keywords  Working  Group  (KWG)16,  consisting  of  6 
members  and  a  chairperson  from  RTD  M.1.  The  KWG  assures  harmonisation  of  the 
interpretation of complex audit findings. These findings originate mainly from audits carried 
out by DG RTD, but occasionally also from findings of other Research Commission services 
when  DG  RTD  is  asked  to  determine  its  position.  Over  60  individual  requests  have  been 
processed in 2011.  
 
In  2011,  most  requests  originated  from  DG  RTD's  legal  Unit,  and  they  concerned  the 
assessment  or  clarification  of  the  application  of  the  rules  of  the  Framework  programmes. 
Most frequently discussed were: 
 
  Time recording and time-sheets (the layout of time sheets and the detail of tasks, hours 
and time to be reported, time recording of SME owners/one person companies); 
  Personnel  costs  (implementation  of  the  simplification  measures  adopted  by  the 
Commission on average personnel costs, eligibility of permanent staff in FP6 contracts 
with an additional cost model, eligibility of bonus payments, calculation of the hourly 
rate, subcontracting between partners and coordinator); 
  Classification and eligibility of the costs charged for personnel in various forms (as 
internal consultants, as personnel costs or as sub-contracting); 
  Indirect cost elements (the classification of costs as direct or indirect costs and their 
eligibility, e.g. eligibility of JTI membership costs, bank charges); 
  Internal  invoicing  (e.g.:  although  contractors  declare  additional  costs,  they 
nevertheless tend to claim costs of central facilities, such as workshops or laboratories, 
which  are  not  directly  involved  in  the  project.  However,  such  costs  can  only  be 
considered as eligible if beneficiaries apply the full cost model); 
                                                 
16 The most important KWG activities are:  
  Guidance notes preparation and administration: They provide specific instructions for auditors on issues 
of contention. The KWG is responsible for their drafting, legal consultation, preparation of their formal 
adoption  and  disclosure  in  the  Wiki  database,  accessible  to  the  RDGs  and  ECA.  The  CAR  formally 
adopts Guidance notes. 
  Development and maintenance of the keywords database. The 'keywords database' is a compilation of 
all previous positions taken in the past on various interpretative issues, providing guidance to auditors 
and helping to maintain a coherent approach towards external parties.  
Page 22 of 51 
 

CONFIDENTIAL 
  Eligibility  of  specific  taxes  ("taxe  sur  l'effort  à  la  construction"  (FR),  "taxe  sur  la 
formation  professionnelle"  (FR),  "taxe  sur  les  transports"  (FR),  WBSO  (Dutch  tax 
benefit scheme for research),...); 
  Flat rates (Marie Curie flat rate, flat rate on accommodation and daily subsistence). 
 
As  in  previous  years,  questions  related  to  the  correct  accounting  treatment  of  accruals  and 
timing (often related to travel costs and audit fees) were also replied to.  
 
The KWG ensures that Commission services 'speak with one voice' to beneficiaries. This need 
of  having  'one  voice'  implies  that  first  the  DG  RTD  audit  Units  have  to  agree  amongst 
themselves,  whereupon  agreement  from  other  Research  Commission  services  is  sought, 
mostly via the CAR.  
 
2.5.3. 
The Audit Steering Committee (ASC) 
The  ASC  is  a  peer  review  by  fellow  auditors.  It  assists  in  the  assessment  on  substance  of 
proposals  for  large  audit  adjustments  and  on  interpretative  issues.  This  is  done  on  request 
from an auditor, or in view that the beneficiary is objecting or is likely to object to the audit 
findings.  .  Adjustments  are  considered  to  be  large  when  they  are  above  EUR  100  000  and 
represent 5% or more of the costs claimed, or when they are above EUR 30 000 and represent 
30% or more of the costs claimed.  
 
The  ASC  considers  both  in-house  and  outsourced  DG  RTD  audits,  and  it  contributes  to 
ensuring equal treatment of beneficiaries and coherence of audit work.  
 
The number of cases submitted to the ASC decreased in 2011. 
 
Table 2.11 - ASC cases 
 
Year 
Meetings 
Cases 
2005 


2006 


2007 


2008 
12 
26 
2009 
14 
20 
2010 
18 
32 
2011 
15 
22 
 
The large adjustments discussed in the ASC meetings occur when 1) contractors claim costs 
but  there  is  no  provision  in  the  contract  that  such  costs  can  be  claimed,  or  2)  when  the 
contractors cannot provide sufficient supporting documentation.  
 
An example of the first category in 2011 relates to the claiming of substantial subcontracting 
costs.  The underlying  problems  can be  that  there  has been no tendering,  or  the Commission 
had  given  no  contractual  agreement  to  subcontract  the  activities  concerned.  Other  cases  of 
non-eligible costs are: the claiming of permanent staff under FP6 additional cost contracts; the 
charging  of  costs  of  third  parties  without  prior  Commission  approval;  subcontracting 
classified as personnel costs or other costs (so that unduly indirect costs are claimed on these 
direct  costs);  costs  not  booked  into  the  accounts;  or  costs  which  are  incurred  by  another 
company than the one with which the Commission had concluded the contract. 
Page 23 of 51 
 

CONFIDENTIAL 
  
In 2011 an example of the second category was the claim of overstated personnel costs when 
compared  to  the  annual  working  time.  In  other  cases  the  beneficiaries  are  not  able  to 
demonstrate  by  any  other  means  (e-mails,  reports,  travel  expenditure,  interviews)  the  time 
spent  on  the  project.  Other  examples  concern  missing  invoices;  VAT  that  was  claimed; 
average  salaries  which  could  not  be  reconciled  with  the  actual  individual  salaries  paid;  too 
few productive hours leading to inflated hourly rates; direct  costs which  cannot be linked to 
the  projects  or  are  unnecessary  for  the  projects;  indirect  costs  with  no  relation  to  the  direct 
costs;  bonuses  for  personnel  (only  eligible  under  certain  conditions);  the  fair  allocation  of 
indirect costs; charging of the full costs of acquisition instead of applying depreciation; etc… 
 
 
2.5.4. 
The Audit Process Handbook (APH) and Audit Manual 
The APH provides the procedural framework for the audit process. It describes the complete 
audit procedures from the planning of the audit until the audit closure. The APH is common 
for all Research Commission services and it is used for all their in-house on-the-spot audits.  
 
The final  version of the  APH was  approved by the CAR in December 2010;  therefore  2011 
was the first audit year to be covered by a complete, comprehensive and inclusive edition of 
procedures  and  templates.  The  APH  complements  the  guidelines  of  the  Audit  Manual.  The 
latter mainly contains interpretational and explanatory guidance on the regulatory framework 
and specific contractual provisions. 
 
The APH is  a  "living" document, in  the sense that  it was frequently revised during 2011, in 
order  to  reflect  the  different  decisions  taken.  In  particular,  the  (2011)174  Commission 
Decision  of  21/1/2011  on  new  acceptability  criteria  of  average  personnel  costs  led  to  a 
modification of the standard report template together with a revised audit procedure on how to 
audit average personnel costs.  
 
In the same context, the decision to net off systematic errors resulted in the creation of a new 
version of the Letter of Conclusion, applicable only for netting off purposes. 
 
There were also further developments on the common audits with the Court of Auditors, for 
which a new procedure was developed. .   
 
2.6.  Collaboration with the DG RTD administration and finance (UAF) network 
The  External  Audit  Units  have  continued  throughout  2011  to  uphold  their  close  working 
relationships with the administration and finance Units during the planning and preparation of 
new audit  campaigns,  during the audits  themselves  (in order to  obtain feedback on  the draft 
audit  conclusions),  and  after  the  audits  closure  (for  the  implementation  of  the  final  audit 
conclusions and results). 
 
Moreover,  ad-hoc  bilateral  meetings  have  been  held  whenever  discussions  on  specific  files 
were needed.  
 
The External Audit Units also participate in meetings between the UAFs and contractors  for 
those  cases  where  the  contractor  continues  to  contest  the  audit  findings  after  audit  closure. 
They  also  participate  in  the  monthly  UAF  meetings  to  present  and  clarify  matters  linked  to 
audit and financial issues. 
Page 24 of 51 
 

CONFIDENTIAL 
 
2.7.  IT developments 
During 2011, the External Audit Units focused on the following IT developments: 
 
      AUDEX  (Audit  Management  System):  AUDEX  went  into  production  in  July, 
replacing  the  former  AMS  as  the  main  IT  system  for  the  External  Audit  Units. 
AUDEX  includes  additional  functionality  to  record  audit  results  in  detail,  and  to 
review  the  work  of  external  audit  firms.  The  integration  of  two  additional  local 
modules managing extrapolation and providing a results dashboard, as foreseen in the 
2011  'Schéma  Directeur',  did  not  happen  due  to  delays  in the  AUDEX  Project  Plan, 
but it is expected in 2012 
 
A  much  tighter  integration  of  AUDEX  with  other  corporate  IT  systems  (ABAC, 
ASUR, CPM/PCM/Force) has allowed for data generated by audits to be more widely 
available, which in turn has improved business processes across DG RTD and beyond. 
The usefulness of AUDEX has been widely recognised, and steps have been initiated 
in order to deploy it in the agencies REA and ERCEA.  
     CHARON project in DG RTD: A new database, called DAISY, has been added to 
the CHARON project. DAISY combines FP6 information from CHARON with FP7, 
experts,  audit  and  extrapolation  data.  The  DAISY  database  is  also  now  available  for 
selected REA and ERCEA users. 
  Sharing Audit Results (SAR): Several new releases of SAR EAR (Extrapolation of 
Audit Results) and SAR PAA (Planning of Audit Activities) was put in production in 
2011. 
  CoMET: This project aims to provide a central web-based IT tool solely dedicated to 
supporting  the  FP7  methodology  certification,  and  it  was  launched  in  June  2008.  In 
September 2011 the production version COMET 1.3.2. became available for use. Data 
from  the MS access  database was  migrated  to  the new environment.  The  application 
supports  the  certification  activities  by  allowing  a  fully  integrated  and  electronic 
approach for the whole certification process, namely the filing of applications, check 
for  eligibility,  generation  of  standard  e-mails  and  letters,  organisation  of  Joint 
Assessment Committee Meetings and encoding of final decisions. The tool has also a 
reporting function providing for statistical data on certificates.  
 
 
2.8.  FP7 methodology certification 
The Certification policy for the FP7 Grant Agreements was designed with the aim to correct 
the  most  common  errors  identified  in  the  past,  and  in  particular  those  related  to  personnel 
costs  and  indirect  costs. In  this  context,    and  in  addition  to  the  Certificates  on  the  Financial 
Statements  
(CFS)  known  under  FP6  as  'audit  certificates',  two  new  types  of  ex-ante 
certificates on the methodology were introduced in FP7 which may be submitted prior to the 
costs being claimed: the Certificate on Average Personnel Costs (CoMAv) and the Certificate 
on the Methodology for Personnel and Indirect costs (COM)
.
 
 
The  acceptability  of  the  methodology  certificates  is  decided  by  an  inter-service  Joint 
Assessment  Committee  (JAC),  which  involves  DG  RTD's  External  Audit  Units  and  DG 
INFSO. In 2011, 11 JAC meetings were held. 
Page 25 of 51 
 

CONFIDENTIAL 
 
2.8.1. 
State of play of certification files as of December 31st 2011 
Table 2.12 - State of play of certification files as of December 31st 2011 
 
 
Eligibility Requests 
Certicates 
Type of Certificate 
Submitted 
Accepted 
Submitted 
Accepted 
Rejected 
Withdrawn 
Pending 
CoM Average Personnel 
23 




Costs and Indirect Costs 
117 
72 
CoM Real Personnel Cost  
25 
10 



and Indirect Costs 
Certificate Average 
N/A 
87 
48 
10 
23 

Personnel  
TOTAL 
135 
69 
21 
27 
18 
 
The results of the pilot approach taken on average personnel costs following the Commission 
Decision  C(2009)4705  on  23  June  2009,  revealed  that  the  requirements  of  the  Commission 
were not in line with the usual accounting practices of a significant number of beneficiaries, 
in particular industrial partners, due to the restrictive criteria set out in Decision C(2009)4705. 
This  led  to  a  situation  where  the  concerned  beneficiaries  established  parallel  accounting 
systems  solely  for  the  participation  in  Seventh  Framework  Programmes  projects,  which 
created additional administrative costs. 
 
In its Conclusions of 12 October 2010 the Council asked the Commission to accept the use of 
average  personnel  cost  methodologies  without  delay,  based  on  revised  and  more  flexible 
acceptability criteria. 
 
The  Communication  from  the  Commission  to  the  European  Parliament,  the  Council,  the 
European  Economic  and  Social  Committee,  the  Committee  of  the  Regions  and  the  National 
Parliaments  of  19  October  2010  entitled  "The  EU  Budget  Review"  identified  the  general 
acceptance of the accounting practices of participants, including average personnel costs, as a 
key measure for simplification.  
 
These  elements  led  to  the  Commission  Decision  C(2011)174  of  24  January  2011  on  three 
measures  for  simplifying  the  implementation  of  FP7  defined  new  criteria  for  average 
personnel  costs,  whereby  the  usual  accounting  practices  of  beneficiaries  would  become 
acceptable under certain general and less restrictive conditions. 
 
Beneficiaries would no longer be required to submit a Certificate on Average Personnel Costs 
(CoMAv) for approval as a prior condition for the eligibility of such costs. Nevertheless, the 
CoMAv remains as an option, offering beneficiaries the possibility to obtain prior assurance 
on  the  compatibility  of  the  methodology  in  place  with  the  FP7  eligibility  requirements. 
Although all beneficiaries applying average personnel costs are entitled to submit a CoMAv, 
there was a marked decline in the number of applications for Certificates following the new 
criteria. 
 
Prior to the current decision on simplification measures, the value of the work of SME owners 
and  natural  persons  could  be  reimbursed  only  if  they  requested  an  ex-ante  certificate  of  an 
average  cost  methodology  that  had  to  be  approved  by  the  Commission.  The  certification  of 
the methodology  was judged burdensome and costly both  for the entities concerned and the 
Page 26 of 51 
 

CONFIDENTIAL 
Commission. A very low number of certificates were issued, which lead to the situation where 
SME  owners  or  other  natural  persons,  who  did  not  obtain  a  certificate,  could  not  be 
reimbursed because the value of their work was not registered as a cost item in their accounts. 
 
The  same  Commission  Decision  C(2011)174  of  24  January  2011  established  rules  allowing 
for  SME  owners  and  natural  persons  who  do  not  receive  a  salary  to  charge  flat  rates  in 
accordance  with  the  Peoples  Programme.  The  submission  of  a  Certificate  on  Average 
personnel costs is no longer possible for these cases. 
The  figures  in  the  table  above  illustrate  the  trends  in  2011.  The  main  change  is  seen  in  the 
CoMAv.  The  number  of  submissions  decreased  significantly  when  compared  to  previous 
years.  The  requests  received  were  mainly  from  applicants  who  could  not  meet  the  previous 
stringent  criterion  for  average  personnel  costs  and  following  the  Commission  Decision 
C(2011)174, they were able to pursue their request and eventually obtain a CoMAv based on 
the broader eligibility criteria defined in the decision.  
Furthermore,  SME  owner  managers  who  do  not  receive  a  salary  had  a  final  possibility  to 
submit  a  CoMAv  (deadline  24  February  2011)  before  the  new  decision  became  binding  on 
this  group  of  beneficiaries.  Some  of  these  SME  owners  preferred  to  obtain  a  CoMAv  for 
economic reasons and filed applications to be treated under the old rules. 
 
The  pattern  of  CoM  submission  remained  steady  throughout  2011.  However,  increased 
activity was noted from beneficiaries who previously submitted applications for CoM but had 
not  pursued  their  requests  due  to  the  stringent  requirements  that  existed  (essentially  the 
requirements  related  to  average  personnel  costs).  As  already  mentioned,  Commission 
Decision  C(2011)174  made  the  application  process  easier  for  those  beneficiaries  who  use 
average personnel costs. As such, these beneficiaries became more active and were seeking to 
obtain a CoM.  This  may be due to the  fact that  at  this stage of the  Framework Programme, 
beneficiaries are reaching the threshold of EUR 375 000 of EU funding, where they would be 
expected to submit CFS. In order to benefit from the waiver of submitting a CFS, they were 
interested in obtaining a CoM.  
 
In  conclusion,  it  can  be  stated  that  following  the  adoption  of  Commission  Decision 
C(2011)174,  the  CoMAv  lost  it  initial  value  intended  in  the  definition  of  FP7  Grant 
Agreement,  since  it  became  optional  for  entities  using  average  personnel  costs  and  is  no 
longer accessible to SME owners and natural persons who do not receive a salary. However 
the  CoM,  being  a  certificate  which  offers  a  benefit  of  not  submitting  intermediate  CFS  has 
become easier to obtain and more attractive for the eligible beneficiaries. 
 
 
2.8.2. 
Inter-service collaboration and communication activities (cf. 2.11) 
A continuous inter-service collaboration has been established to provide guidance and support 
for  the  Operational  Units  and,  in  particular,  for  the  Financial  Officers  who  handle  the  FP7 
Certificates  on  the  Financial  Statements  (CFS).  By  doing  so,  a  coherent,  harmonised  and 
consistent  approach  on  CFS-related  matters  is  ensured  across  the  Research  Commission 
services. 
Ex-ante certification also requires intensive communication efforts: 
Page 27 of 51 
 

CONFIDENTIAL 
  Handling  questions  submitted  through  the  Research  Enquiry  Service  on  Europe 
Direct. Approximately 120 questions concerning the certification on the methodology 
were answered in 2011. 
  Internal  awareness-raising  on  FP7  certification  issues  leading  to  meetings  with 
operational and UAF Units. 
  Participation in seminars, conferences, bilateral meetings.  
  Posting  of  certification-related  documents  on  CORDIS  (FAQ  document,  specific 
certification-dedicated pages, 'Guidance notes for Beneficiaries and Auditors'). 
  Following  the  Commission  Decision  C(2011)174  on  three  measures  for  simplifying 
the  implementation  of  FP7,  Annex  VII  (Forms  E  and  D)  of  the  FP7  EC  GA  was 
revised. 
  'Guidance notes for Beneficiaries and Auditors' were revised and will be published in 
Cordis when the revised Guide to Financial Issues is published. 
  Internal  trainings  dedicated  to  FP7  certification  on  the  methodology  are  given 
quarterly. 
  Regular meetings with national contact points (NCPs) for legal and financial issues. 
 
2.9.  Coordination of outsourced audits 
Six  framework  contracts  for  the  provision  of  audit  services  are  available  to  procure  audit 
services  on  FP6  and  FP7  grants  during  the  period  2009-2012,  with  a  potential  market  value 
amounting to EUR 16.5 million and EUR 42 million respectively. They are managed by RTD 
M.2  on  behalf  of  all  Research  Commission  services.  These  framework  contracts  are  used 
under a 'cascade' principle, i.e. when the first contractor on the list cannot execute the audit, 
the second or possibly the third company on the list is taken. 
 
The Framework contract for FP6 was not used in 2011 due to the phasing-out of FP6 audits. 
Any new FP6 audits will be done internally.  
 
Throughout  2011,  the  batch  audit  campaigns  outsourced  to  the  different  service  providers 
(KPMG, Ernst & Young, and Lubbock Fine) were closely monitored by RTD M.2 in terms of 
timeliness and quality. There continues to be a strong dependence on the external audit firms, 
as up to 70% of the DG RTD audit target is achieved through outsourced audits. 
 
In addition to the daily follow-up of individual audits, this monitoring involves the following 
business processes: 
  Monthly  Audit  Status  Reporting  (MASR)  meetings  chaired  by  RTD  M.2,  covering 
the  progress  of  all  on-going  batches,  technical  issues,  invoicing  and  future  audit 
planning. 
  Occasionally accompanying external audit firms on on-the-spot missions. 
  Providing guidance and clarification on specific problems. 
Page 28 of 51 
 

CONFIDENTIAL 
  Using the Audit Review Assessment (ARA) to follow-up the quality of the services 
provided.  
  A batch audit processing manual including checklists for the different deliverables. 
  Normal  contract  management  issues,  such  as  setting  up  contracts,  amendments, 
payments, penalties etc. 
 
2.10.  Other activities (Art. 185 Initiatives/JTIs/Executive Agencies17)  
2.10.1.  Art. 185 Initiatives 
RTD M.1 carries out the ex-ante assessments and ex-post audits for the Art. 185 Initiatives for 
which  dedicated  implementation  structures  have  been  set  up.  At  present,  there  are  three  of 
these: 
 
1. EUROSTARS 
 
Following the audit of the EUREKA Secretariat performed in 2010, which resulted in a set of 
recommendations  on  their  internal  control  systems  and  a  request  for  re-submission  of  a 
revised  statement  of  expenditure  2008,  RTD  M.1  has  requested  a  report  on  the 
implementation of the recommendations and documentation supporting the revised statement 
of expenditure. Analysis of the received documentation will take place during the first quarter 
of 2012.  
 
2. EMRP 
 
In  2009,  RTD  M.1  conducted  an  ex-ante  assessment  of  EURAMET  e.V.,  the  dedicated 
implementation  structure  of  the  EMRP  Initiative  (Decision  n°  912/2009/EC).  The  outcome 
was  a  list  of  recommendations  on  the  internal  control  system.  The  implementation  of  these 
recommendations was set-up through a jointly-agreed action plan.  
 
In 2010, RTD M.1 has reviewed EMRP's report on the implementation of the action plan.  
 
RTD M.1 plans to conduct an audit of EURAMET e.V in 2012. The scope of the audit will be 
twofold: 
 
  Ex post verification of the running expenditure in 2009 and 2010; 
  Assessment  of  the  implementation,  according  to  the  action  plan,  of  the 
recommendation formulated in the ex-ante assessment performed in 2009. 
 
3. BONUS 
 
In  2011,  RTD  M.1  conducted  an  ex-ante  assessment  of  BONUS  EEIG,  the  dedicated 
implementation structure of the BONUS  Initiative (Decision n° 862/2010/EC). The outcome 
                                                 
17  The  overall  relationship  between  the  Agencies  and  DG  RTD  has  been  defined  in  Memoranda  of 
Understanding.  Although  the  Executive  Agencies  are  part  of  the  different  Committees  referred  to  above  (see 
section 2.2), the  External Audit Units  are consulted on the main audit related documents of the two  'DG  RTD' 
Executive Agencies. At operational level, regular contacts are maintained with the audit Units of the Agencies. 
 
Page 29 of 51 
 

CONFIDENTIAL 
was a list of recommendations on their internal control system. The implementation of these 
recommendations will be set-up through a jointly-agreed action plan in January 2012.  
 
 
2.10.2.  Joint Technology Initiative (JTIs) 
In 2011, the RTD JTIs (Clean Sky, FCH and IMI) launched their first series of batch audits. 
Taking into account the similarity of their legal frameworks to the 7th Framework Programme, 
as well as the existence of common beneficiaries, RTD M.1 hosted two coordination meetings 
with the aim to minimise the risk of planning clashes and to enhance the quality control of the 
audits.  
 
In the first meeting, preliminary measures agreed upon included the: provision of audit reports 
carried out at beneficiaries selected by the RTD JTIs for audit, and the application of the rules 
set out to avoid planning clashes.  
 
While this allowed minimising the risks in  the first batch audits launched by the RTD JTIs, 
RTD M.1 considered the need to agree on definitive measures a priority.  
 
A meeting was held to discuss and debate on further coordination with the participation of the 
RTD JTIs plus  SESAR JU (=a DG MOVE/ENER JTI). ,  The JTIs agreed to  have access  to 
SAR WIKI (shared audit results database) and SAR PAA (planning tool), and to participate in 
the Coordination Group for External Audit in the Research Family (CAR), thus allowing for a 
more  effective  and  efficient  coordination.  They  also  confirmed  that  they  would  not  be 
involved in our extrapolation process.    
 
Following this meeting, DG ENTR took the initiative of inviting the European GNSS Agency 
to also implement these coordination measures.  
 
Page 30 of 51 
 

CONFIDENTIAL 
3. 
RESULTS AND ANALYSIS 
The  External  Audit  Units  are  asked  to  report  on  the  implementation  of  the  audit  strategies 
throughout  the  year  in  quite  a  different  number  of  formats  and  to  a  variety  of  audiences: 
monthly  reports  to  the  Director-General,  quarterly  reports  to  the  Commissioner,  progress 
reports  for  the  ABM  and  the  ECA…,  plus  a  substantial  number  of  ad-hoc  requests  for 
information derived from the auditing activities, both quantitative and qualitative. 
 
The quantitative results of the activities of the External Audit Units are presented in this part, 
together with analysis and commentary where appropriate. 
 
3.1.  Audit numbers 
This  section  presents  results  related  to  the  number  of  audits  and  of  participations  audited  in 
2011  and  cumulatively,  with  breakdowns  by  a  number  of  categories.  The  most  interesting 
points are summarised below each table. 
 
Table  3.1  -  Audits  closed  and  participations  audited  (2011  and  cumulative,  ALL 
audits18) 
 

 
 
 
 
 
 
 
 
 
 
FP6 
TOP 
20 
44 
392 
1035 
  
MUS 


153 
339 
  
RISK 
57 
162 
586 
1290 
  
FUSION 


30 
44 
Total FP6 
  
79 
209 
1161 
2708 
FP7 
CORRECTIVE 
184 
434 
336 
641 
  
REPRESENTATIVE 
68 
141 
98 
194 
  
FUSION 




  
OTHER 




Total FP7 
  
256 
582 
441 
842 
Coal & Steel 
N/A 


14 
40 
Grand totals 
337 
797 
1616 
3590 
 
 
  The target of 330 audits closed set for 2011 was achieved. The FP7 audit campaign is 
also on target. 
  Although fewer audits were closed in 2011 than in 2010 (337 vs 363), the number of 
participations  audited  was  higher  (797  vs  661).  This  is  mostly  explained  by  the  fact 
that the audit/participation ratio was low at the beginning of the FP7 audit campaign, 
when the auditable population was much smaller and it was not possible to cover the 
usual three participations per audit in many cases. 
 
                                                 
18 Throughout section 3, 'ALL audits' means all FP6, FP7 and Coal and Steel (C&S) audits aggregated. 
Page 31 of 51 
 

CONFIDENTIAL 
  In fact, the cumulative ratio of participations covered per audit has gone up to 1.9 for 
FP7 from 1.4 at the end of last year, and it stays at 2.3 for FP6. At the end of the FP5 
campaign it was just 1.2. The increase in the cost-effectiveness of audits in the last few 
years  is  obvious  from  these  figures,  a  result  of  improvements  in  planning  and  audit 
preparation.  
 
  1161  FP6  audits  have  been  closed  in  the  period  2007-2011.  There  remain  69  FP6 
ongoing audits so, at the end of the FP6 audit campaign the total number of audits will 
be at least 60% higher than the original minimum multi-annual target of 750 set in the 
ABM  action plan drawn up in  2007.  This  increase was due to additional risk-related 
audits  aimed  at  further  reducing  the  residual  error  rate  for  FP6,  follow-up  audits  on 
extrapolation cases, joint audits with the ECA, and the results of the mid-term review 
which  showed  that  the  share  of  the  systematic  error  "cleaned"  through  extrapolation 
was not as large as originally assumed. 
 
Table 3.2 - Audits closed of specific types19 (2011, ALL audits) 
 

 
 
Audits on request 
17 
FUSION 

Coal & Steel 

Joint audits with ECA 
17 
Audits in non-EU countries 
25 
OLAF-related 
15 
Desk reviews 

 
 
  Our collaboration with the ECA intensified during 2011, resulting in 21 joint audits 
launched and 17 closed (only 3 in 2010).  
  The decision to set up a dedicated fraud detection team explains the increase of 
OLAF-related audits closed in 2011. 
 
For more details on these audits, please see the relevant sections. 
 
Table 3.3- Audits closed, outsourced and in-house (2011 and cumulative, ALL audits) 
 

  
 
 
  
 
 
 
 
Total Outsourced 
205 
60.8% 
1126 
69.7% 
In-house 
132 
39.2% 
490 
30.3% 
Grand totals 
337 
100.00% 
1616 
100.00% 
 
 

                                                 
19 An individual audit might fall into more than one of these categories (e.g. an audit on request in a non-EU 
country). 
Page 32 of 51 
 

CONFIDENTIAL 
  The proportion of audits closed in-house was noticeably higher in 2011 (39.2%) than 
the historical average at the end of 2010 (27.3%). Cumulatively, in-house audits now 
account for almost a third of all audits closed. 
 
  FP7 batches 129,  130, 132, 148, 149 and 150 were all launched during 2011, while 
batches  50, 63, 64, 96 and 100 were completed  during the  year. Batches 38, 75, 117 
and 122 are also very close to completion, with only one audit remaining in each case. 
 
 
Table 3.4 - Audits launched and closed (2009-2010-2011, ALL audits) 
 
  

 
 
 
 
  
 
 
 
 
 
 
 
 
FP6 
276 
306 
81 
179 
27 
79 
384 
564 
FP7 
160 

239 
180 
239 
256 
638 
440 
C&S 






15 
12 
Totals 
442 
316 
325 
363 
270* 
337 
1037 
1016 
 
 

  The number of audits launched in 2011 does not include the 104 audits in batches 162 
and 163 which were prepared in 2011 but which have a launch date in January 2012.   
  There  were  358  ongoing  audits  at  the  beginning  of  2011.  If  we  include  the  104  in 
batches 162 and 163, there are 402 ongoing audits at the beginning of 2012. 
 
Table 3.5 - Audits closed by country (2011, ALL audits) 
 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
  Over 81% of all the  audits carried out in 2011 took place in the 12 countries listed 
above. The percentage last year was 87%, and we are beginning to see more diversity 
as  the  implementation  of  the  FP7  AS  progresses,  which  reflects  a  proportionally 
Page 33 of 51 
 

CONFIDENTIAL 
higher participation of new member states in FP7: Poland, Romania, Hungary and the 
Czech Republic were all in the top 20 countries last year. 
 
3.2.  Audit results 
This  section  presents  audit  results  in  monetary  terms.  The  most  interesting  points  are 
summarised below each table. 
 
Please note that all figures related to adjustments in this part are estimates that might or 
might not correspond with the eventual financial recovery or offset amount applied by 
operational  services.  
For  FP6,  the  EC  share  of  proposed  adjustments  is  calculated  on  the 
basis of cost model and instrument type, but there might be variations of the actual percentage 
of  EC  contribution  for  specific  contracts20.  For  FP7,  this  information  is  now  available  in 
central DG RTD information systems, so the calculations are more accurate. 
 
Table 3.6 - Audit results in monetary amounts (2011, ALL audits) 
 

 
 
 
 
 
 
 
 
FP6 
209 
141,533,706 
140,714,937 
128,948,898 
-12,092,796 
622,678 
FP7 
582 
266,533,640 
266,549,118 
263,413,664 
-7,468,017 
4,418,277 
C&S 

1,871,805 
1,843,543 
1,844,552 
-1,831 
2,840 
Totals 
797 
409,939,151 
409,107,598 
394,207,114 
-19,562,644 
5,043,795 
 
  
 
 
 
 
 
 
FP6 
209 
74,852,915 
74,285,183 
67,170,187 
-7,394,929 
427,893 
FP7 
582 
147,223,153 
147,262,681 
145,097,179 
-5,041,762 
2,940,559 
C&S 

1,123,083 
1,106,126 
1,106,731 
-1,098 
1,704 
Totals 
797 
223,199,151 
222,653,990 
213,374,097 
-12,437,789 
3,370,156 
 
  In 2011, a total of almost EUR 410 million in costs was audited by the External Audit 
Units [EUR 422 million in 2010]. Of this amount, the EC contribution was over EUR 
223 million [EUR 293 million in 2010].  
  The  total  amount  of  adjustments  in  favour  of  the  Commission  at  funding  level 
proposed by the auditors was over EUR 12.4 million (EUR 16.3 million in 2010).  
 
                                                 
20  To  minimise  this  issue,  the  method  for  calculating  proposed  adjustments  was  refined  in  2008  to  take  into 
consideration instrument types as well as cost models. In addition, we now seek more detailed percentages of EC 
contribution from the operational services for FP6 audited participations where the proposed adjustment is over 
EUR 100 000 in favour of the Commission. 
Page 34 of 51 
 

CONFIDENTIAL 
Table 3.7 - Audit results in monetary amounts (cumulative, ALL audits) 
 

 
  
 
 
 
 
 
 
FP6 
2,708 
2,291,514,388 
2,285,326,255 
2,230,831,703 
-76,967,550 
22,767,919 
FP7 
842 
331,744,077 
331,912,158 
327,453,651 
-10,616,283 
6,243,511 
C&S 
40 
25,389,662 
25,317,659 
24,789,062 
-554,386 
25,788 
Totals 
3590 
2,648,648,127 
2,642,556,072 
2,583,074,416 
-88,138,219 
29,037,218 
 
  
 
 
 
 
 
 
FP6 
2,708 
1,117,675,387 
1,114,200,731 
1,079,838,907 
-46,953,855 
12,738,991 
FP7 
842 
195,502,856 
195,656,916 
192,454,345 
-7,383,504 
4,245,233 
C&S 
40 
15,233,797 
15,190,595 
14,873,437 
-332,631 
15,473 
Totals 
3590 
1,328,412,040 
1,325,048,242 
1,287,166,689 
-54,669,990 
16,999,697 
 
 
  Concerning cumulative results, the auditors have so far checked over EUR 2.6 billion 
in costs claimed over the FP6, FP7 and C&S audit campaigns.  
  The  cumulative  amount  of  proposed  adjustments  at  funding  level  for  FP6  so  far  is 
almost EUR 47 million in favour of the Commission. 
 
Table 3.8 - Results by instrument type (cumulative, FP6 & FP7). All amounts are EC 
share 
 
 

 
 
 
FP6 
CA 
Coordination Action 
1.0% 
1.6% 
II 
Specific actions to promote research 
9.9% 
6.8% 
infrastructures 
IP 
Integrated Project 
46.7% 
49.4% 
MCA 
Marie Curie Actions 
6.0% 
3.7% 
NOE 
Network of Excellence 
7.6% 
12.3% 
SME 
Specific actions for SMEs 
1.0% 
0.0% 
SSA 
Specific Support Action 
4.0% 
7.2% 
STP 
Specific Targeted Project 
10.9% 
13.9% 
  
Other 
0.1% 
4.5% 
  
FUSION 
12.8% 
0.6% 
FP7 
CP 
COLLABORATIVE PROJECT 
3.2% 
1.3% 
(GENERIC) 
CP-CSA-Infra 
INTEGRATING ACTIVITIES / E-
9.6% 
15.8% 
INFRASTRUCTURES / 
PREPARATORY PHASE 
CP-FP 
SMALL OR MEDIUM-SCALE 
31.3% 
27.6% 
FOCUSED RESEARCH PROJECT 
CP-IP 
LARGE-SCALE INTEGRATING 
30.4% 
35.9% 
PROJECT 
Page 35 of 51 
 

CONFIDENTIAL 
CP-SICA 
SPECIFIC INTERNATIONAL 
1.6% 
1.7% 
COOPERATION ACTIONS 
CP-TP 
COLLABORATIVE PROJECT 
4.4% 
6.9% 
TARGETED TO A SPECIAL 
GROUP (SUCH AS SMEs) 
CSA-CA 
COORDINATION (OR 
2.8% 
2.4% 
NETWORKING) ACTIONS 
CSA-ERA-Plus 
ERANETPLUS 
0.1% 
0.0% 
CSA-SA 
SUPPORT ACTIONS 
7.0% 
7.0% 
NoE 
NETWORK OF EXCELLENCE 
0.6% 
0.4% 
FUSION 
FUSION 
9.1% 
1.0% 
 
Even though we do not select representative samples per instrument, the volume of results to 
date gives insights as to whether the incidence of errors is higher for some instruments than it 
is for others.  
 
  The low incidence of error in audits of Fusion associations continues in FP7. 
  The  instrument  with  the  highest  ratio  of  errors  to  amounts  audited  in  FP7  is  the 
support for infrastructure and large-scale integration projects.  
 
 
Table 3.9 - Results by cost model (cumulative, FP6 & FP7). All amounts are EC share. 
 

 
 
 
 
AC 
36.3% 
35.5% 
FC 
48.0% 
50.1% 
FP6 
FCF 
10.9% 
12.3% 
N/A 
4.8% 
2.1% 
FLAT_STD 
7.0% 
4.7% 
FLAT_TRANS 
58.7% 
55.8% 
FP7 
REAL 
31.8% 
35.0% 
SIMPLE 
2.4% 
4.5% 
 
 
When the same analysis is performed on cost models, there is not enough variation in any of 
the cases to consider any of the FP6 or FP7 cost models more prone to error. 
 
 
3.3.  Analysis 
This section provides a more in-depth analysis of certain aspects and results of the work of the 
External  Audit  Units,  particularly  in  relation  to  error  rates,  error  types,  and  most  prevalent 
errors at cost category level. 
 
Page 36 of 51 
 

CONFIDENTIAL 
3.3.1. 
Analysis of error rates  
Table 3.10 - Error rates (2011, FP6 & FP7). All amounts are EC share 
 
 

 
 
 
 
 
 
 
FP6 
TOP 
19,554,659 
-1,067,575 
-5.46% 
 
  
MUS 
N/A 
N/A 
N/A 
 
  
RISK 
47,549,982 
-6,302,332 
-13.25% 
 
  
FUSION 
7,180,506 
-25,022 
-0.35% 
 
Total FP6 
74,285,147 
-7,394,929 
-9.95% 
 
Total FP7 
147,262,681 
-5,041,762 
-3.42% 
 
 
FP6  error  rates  in  2011  were  higher  than  in  previous  years,  apart  from  FUSION  results. 
Contributing factors to this result were:  
 
  The  proportion  of  proposed  adjustments  over  EUR  -100  000  was  higher  in  2011 
(7.6%) than in previous years (3.4%). 
  There  was  a  single  result  in  2011  which  was  the  biggest  proposed  adjustment  at 
funding level ever (over EUR 1.6 million, more than double the previous 'record'). 
 
On the other hand, the FP7 rate was lower than last year's by more than 1%. The evolution of 
error rates year-on-year can be seen in the graphs below. 
 
Table 3.11 - Error rates (cumulative, FP6 & FP7). All amounts are EC share 
 

 
 
 
 
 
 
FP6 
TOP 
497,902,272 
-16,457,573 
-3.31% 
-3.40% 
  
MUS 
69,040,985 
-2,790,224 
-4.04% 
  
RISK 
404,389,228 
-27,410,260 
-6.78% 
  
  
FUSION 
142,868,246 
-295,798 
-0.21% 
  
Total FP6 
1,114,200,731 
-46,953,855 
-4.21% 
  
  
CORRECTIVE 
173,692,850 
-6,290,700 
-3.62% 
  
  
REPRESENTATIVE 
  
  
  
-4.19% 
Total FP7 
195,656,917 
-7,383,504 
-3.77% 
  
 
 
  High  FP6  error  rates  during  2011  have  pushed  up  the  cumulative  overall  FP6  error 
rate, which has gone up from -3.80% at the end of 2010 to – 4.21%. 
 
 
 
Page 37 of 51 
 

CONFIDENTIAL 
Figure 3.1 - Evolution of FP6 error rates up to the end of 2011 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
  As can be seen in figure 3.1, FP6 cumulative overall error rates have seen a year-on-
year regular increase. This increase can be linked to the success of RISK audits: most 
of the audits closed in the first year of the FP6 campaign were part of the initial TOP 
and  MUS  selections,  and  audits  from  the  first  RISK  assessment  were  not  launched 
until February 2008.  
  Although it is difficult to quantify, there is also an effect on error rates of audits which 
have  required  long  discussions  with  beneficiaries  and  which  are  typically  closed 
towards  the  end  of  the  audit  campaign.  These  audits  usually  result  in  above-average 
rates of error. 
  The FP6 representative error rate has been quite stable around -3% since Q3 2009, 
which was the first time it was calculated. It is -3.40% at the moment, with only 20 
FP6 representative audits still ongoing. 
 
Page 38 of 51 
 

CONFIDENTIAL 
Figure 3.2 - Evolution of FP7 error rates up to the end of 2011 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
  In  FP7,  the  progression  has  been  downwards.  There  were  a  number  of  audits  with 
unusually high errors early on in the FP7 campaign, which meant that early rates were 
higher  than  expected.  However,  as  the  body  of  results  has  grown  and  the  effect  of 
outliers cancelled out, rates have gone down as can be seen in the figure above. 
  With the 108 representative results already collected, we have seen during 2011 that 
FP7 representative rates have stabilised to values of around 4%.  
  This error rate reduction could also be due to our initiative to launch several batches of 
preventive  audits  at  the  beginning  of  the  campaign,  to  try  to  reduce  the  amount  of 
errors appearing in future cost statements.  
 
The  adoption  of  a  common  representative  sample  for  the  research  Commission  services 
from 2012 onwards means that the representative error rate estimation will now be reset, 
and a common FP7 rate will be reported from now on.  
 
 
Page 39 of 51 
 

CONFIDENTIAL 
Figure 3.3 - Cumulative error rates by strategy strand (FP6 and FP7) 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
  The  fact  that  the  overall  FP6  RISK  error  rate  stands  at  -6.78%,  while  the 
representative rate is much lower, is an indication of the validity of the risk assessment 
methods employed to date.  
  On  the  other  hand,  and  although  one  could  expect  to  see  the  same  effect  from  the 
audits of the FP7 corrective strand, corrective and representative rates are very similar. 
The explanation for this is two-fold: 
 
o  The  first  selections  of  beneficiaries  in  the  corrective  strand  have  focused  on 
those which were known to participate in many projects but for which only a 
few  cost  statements  had  been  received  to  date.  The  idea  was  to  prevent  any 
errors that might be discovered in these early cost statements from appearing in 
future  ones.  Although  this  kind  of  preventive  approach  has  been  worthwhile, 
selections  on  this  basis  cannot  be  considered  strictly  speaking  as  risk-based, 
which is reflected in  an error rate lower than if the approach had been purely 
corrective instead of preventive. 
 
Preventive efforts have a diminishing impact as the audit campaign progresses, 
and the intention is to switch to more risk-based selections from 2012 onwards. 
Once  we  switch  from  a  preventive  approach  to  a  more  risk-based  one,  it  is 
likely we will begin to see the same effect as in FP6 RISK rates. 
 
o  More  importantly,  although  the  representative  samples  were  randomly 
selected,  the  audit  planning  (i.e.  the  choice  of  the  beneficiaries  to  be  audited 
first within the random sample) was not. Because of planning restrictions to try 
to  lessen  the  burden  of  controls  on  beneficiaries  and  avoid  auditing 
beneficiaries which have been recently audited either by RTD, other Research 
Commission services or the Court of Auditors, priority was given to audits on 
beneficiaries  which  had  not  been  previously  audited  in  FP6.  Launching  new 
audits on beneficiaries for which the extrapolation of FP6 audit results was still 
ongoing was also avoided. In consequence, the representative results available 
Page 40 of 51 
 

CONFIDENTIAL 
to  date  are  biased  because  the  internal  control  systems  of  these  beneficiaries 
had not been previously audited and, therefore, their submitted cost statements 
were more likely to be affected by more frequent and higher errors.  
These  planning  constraints  will  not  affect  representative  error  rates  in  future 
now that a common sample is in use.  
 
Figure 3.4 – Split of adjustments by type of error (cumulative, FP7 & FP7) 

 
 
 
 
 
 
 
 
 
 
 
 
A  series  of  analyses  during  2009  on  the  share  of  overall  errors  represented  by  those  of  a 
systematic nature led to a realisation that they were not as prevalent as assumed when the FP6 
Audit Strategy was prepared. This resulted in changes to the formula for the calculation of the 
residual error rate in order to make it more accurate, and was also an important consideration 
in preparing the FP7 Strategy.  
 
As can be seen in figure 3.4, about one third of the errors found so far in monetary value have 
been systematic. The proportion so far is roughly the same in FP6 and FP7. 
 
 
3.3.2. 
Analysis of adjustments at cost category level 
This section provides analysis of the incidence of errors at cost category level. Costs claimed 
by beneficiaries are ascribed to one of a number of defined cost categories. When audit results 
are  compiled,  they  are  presented  and  implemented  for  an  audited  participation  as  a  whole, 
with  results  in  different  cost  categories  being  netted  off.  However,  it  can  be  of  value  to 
consider  errors  at  cost  category  level,  particularly  in  order  to  identify  in  which  areas  of 
expenditure errors are found most often, both in terms of number and in monetary value.  
 
Page 41 of 51 
 

CONFIDENTIAL 
Table 3.12 - Proportion of adjustments by cost category (cumulative, FP6 & FP7) 
 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Adjustments to costs previously 
4.8% 
0.0% 
19.9% 
0.0% 
8.8% 
0.0% 
3.2% 
0.0% 
reported 
Consumables 
5.9% 
3.5% 
1.8% 
3.9% 
3.3% 
0.9% 
0.8% 
0.1% 
Durable equipment 
2.6% 
1.8% 
2.0% 
1.2% 
2.2% 
1.4% 
0.2% 
2.9% 
Interest on pre-financing 
1.0% 
4.2% 
0.2% 
1.6% 
0.9% 
1.8% 
0.2% 
0.2% 
Other direct costs 
20.9% 
23.4% 
13.4% 
20.7% 
10.4% 
8.5% 
31.4% 
5.0% 
Personnel 
20.3% 
23.3% 
41.6% 
32.9% 
21.4% 
37.2% 
13.7% 
30.5% 
Receipts 
0.5% 
0.7% 
0.2% 
0.5% 
0.3% 
0.2% 
0.5% 
0.0% 
Subcontracting 
4.6% 
3.5% 
5.4% 
6.2% 
20.2% 
7.0% 
5.0% 
8.6% 
Total indirect costs 
28.1% 
31.3% 
14.8% 
32.1% 
28.0% 
39.6% 
44.8% 
52.0% 
Travel and subsistence 
11.3% 
8.4% 
0.6% 
0.9% 
4.5% 
3.5% 
0.2% 
0.8% 
Grand Total 
100.0% 
100.0% 
100.0% 
100.0% 
100.0% 
100.0% 
100.0% 
100.0% 
 
 
  As in previous years, the highest number of FP6 errors in terms of recurrence can be 
found in the indirect costs, other direct costs, personnel and travel and subsistence cost 
categories.  The  percentages  have  not  varied  significantly  from  previous  years.  This 
trend, although with variations in the proportions, seems to continue in FP7.  
  Although we identify many errors in travel and subsistence costs, they represent less 
than 1% of the overall amount, both in FP6 and FP7. This is not a new finding made 
this  year,  but  it  remains  significant  and  it  could  inform  future  audit  efforts  by,  for 
example, concentrating on auditing personnel costs across a higher number of projects 
and ignoring other cost categories as they are not cost efficient to audit. 
 
  The impact of the Commission Decision on Simplification C(2011)174 from January 
2011  is  not  yet  obvious  from  these  figures.  This  is  because  new  provisions  in  that 
document can only be taken into account in subsequent cost periods (average length of 
FP7  cost  periods  is  18  months).  There  might  also  be  a  time  lag  between  the  cost 
statements being received and being selected to audit, and the time of conducting the 
audit has to be added also.  
 
 
Page 42 of 51 
 

CONFIDENTIAL 
3.3.3. 
Assessment of the different steps of the control chain 
Table 3.13 - Net correction of ex-ante and ex-post controls (cumulative, FP5, FP6 & 
FP7). All amounts are EC share21 
 

  
 
 
 
Costs claimed and audited (A) 
216,647,644 
1,117,675,387 
195,502,856 
Costs accepted by Financial Officers (B) 
212,579,288 
1,114,200,731 
195,656,916 
Net correction from ex-ante controls (B-A) 
-4,068,356 
-3,474,656 
154,060 
Costs accepted by Auditor (C) 
209,979,355 
1,079,838,907 
192,454,345 
Net correction from ex-post controls (C-B) 
-2,599,933 
-34,361,825 
-3,202,571 
Effect of ex-post controls as a % of all controls 
39.0% 
90.8% 
N/A 
 
 
The net  effect  of ex-ante and ex-post controls  is shown above. By  ex-ante, one refers to  the 
corrections  made  by  financial  officers  to  costs  claimed  when  they  are  received,  and  by  ex-
post, reference is made to the adjustments proposed by the auditors. 
 
  Ex-ante  controls  had  a  bigger  cumulative  effect  for  FP5  than  ex-post  controls. 
However,  for  FP6,  the  opposite  is  true,  and  the  difference  is  quite  significant.  The 
most likely explanations for this is (i) more details in the FP5 cost statements so that 
ex-ante controls in FP5 were more effective (ii) the introduction of audit certificates in 
FP6,  which  might  have  led  to  the  fact  that  many  errors  were  detected  and  corrected 
before sending the cost statement to the Commission (see the FP5 and FP6 cumulative 
error rates table 3.12). However, this has to be qualified by the fact that, despite those 
audit certificates in FP6, errors above the threshold of 2% tolerated by the Budgetary 
Authorities continued to be detected by ex-post audits. 
  So far in FP7, the results are not significant enough but, to date, the net effect of ex-
ante corrections has actually been in favour of the beneficiaries. 
 
                                                 
21 Positive and negative adjustments, both in the ex-ante and ex-post stages, have been netted off for this table. 
Page 43 of 51 
 

CONFIDENTIAL 
3.3.4. 
Qualitative analysis of error types 
Each time an audit is closed, it is given two ratings related to 'Seriousness' and 'Nature' of the 
errors  found  by  the  auditors22,  if  any.  By  using  a  combination  of  these  two  ratings,  a  better 
understanding of the incidence of errors and their importance can be obtained, as shown in the 
table below. 
 
Table 3.14 - Seriousness and nature of errors (cumulative, FP6 & FP7, aggregated at 
audit level) 
 

 
 
 
 
 
 
 
 
 
 
None 
14.2% 
0.2% 
4.1% 
0.0% 
18.5% 
Small 
0.7% 
1.0% 
49.0% 
0.2% 
51.0% 
FP6 
Medium 
0.1% 
1.1% 
20.3% 
0.3% 
21.8% 
High 
0.1% 
0.4% 
6.3% 
2.0% 
8.7% 
Totals 
15.1% 
2.7% 
79.7% 
2.5% 
100.0% 
None 
6.2% 
0.5% 
2.3% 
0.0% 
8.9% 
Small 
1.4% 
1.6% 
63.0% 
0.3% 
66.3% 
FP7 
Medium 
0.5% 
2.1% 
18.0% 
0.0% 
20.5% 
High 
0.2% 
0.2% 
3.7% 
0.2% 
4.3% 
Totals 
8.2% 
4.3% 
87.0% 
0.5% 
100.0% 
 
  Most  of  the  adjustments  proposed  by  the  External  Audit  Units  are  due  to 
straightforward errors of small or medium  seriousness.  Discoveries of fraud are rare. 
This situation is reflected in this table by the 49% of participations showing SMALL 
ERROR  in  FP6  (53.4%  at  the  end  of  2010).  In  FP7  the  percentage  is  even  higher 
(63%). 
  The  percentage  of  participations  where  potential  irregularities  and  serious  problems 
are found remains  fairly low in  FP6, at  2.5%, although it is  worth  mentioning that it 
was just 1.1% at the end of 2009 and 0.5% at the end of 2008. In FP7 it is only 0.5%.  
  The percentage of audits resulting in no findings at all is lower in FP7 (6.2%) than in 
FP6 (14.2%).  
 
 
                                                 
22 'Seriousness' refers to the severity of problems found (NONE, SMALL, MEDIUM or HIGH), while 'Nature' 
reflects  the  character  of  those  errors  (NONE,  QUALITATIVE,  ERROR  or  IRREGULARITIES).  The  criteria 
used for these categorisations are described in section 6.2.1 of the Audit Process Handbook. 
Page 44 of 51 
 

CONFIDENTIAL 
3.3.5. 
Audit coverage 
Table 3.15 - Audit coverage (cumulative, FP6 & FP7) 
 

 
 
FP6 
FP7 
Total number 
Audit coverage 
of 
55,879 
38,770 
by number of 
participations 
4.8% 
2.2% 
audited 
participations 
Audited 
2,708 
842 
participations  
Audit coverage by amounts 
1,114,200,731 
9.4% 
195,656,917 
4.9% 
audited ('direct' coverage) 
Audit coverage of non-audited 
amounts received by audited 
5,923,934,983 
50.1%  1,211,754,798 
30.6% 
beneficiaries ('indirect' 
coverage') 
Total audit coverage ('direct' 
7,038,135,714 
59.5%  1,407,411,715 
35.6% 
and 'indirect') 
Total RTD expected EC 
11,827,435,215  100.0%  3,955,606,991  100.0% 
contributions as of end 2011 
 
 
Figure 3.5 – Comparison of audit coverage 
 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
  During 2009, one of the main objectives of the FP6 Audit Strategy was achieved: to 
'clean'  from  systematic  material  errors  at  least  50%  of  the  budget.  In  2011,  the 
'cleaning'  effect  has  reached  59.5%  and,  with  69  FP6  audits  still  ongoing,  the  final 
result will be significantly higher than the original target. 
  While the FP6 population stopped growing at the end of 2010, the FP7 population 
continues to grow over time and therefore audit coverage is only relative to the size of 
Page 45 of 51 
 

CONFIDENTIAL 
that population at a given point in time. With that in mind, audit coverage of RTD cost 
statements is 35.6%, with 4.9% of the amounts audited directly. 
 
 
3.3.6. 
Lessons 
learnt 
so 
far 
from 
the 
audit 
campaigns:  
the most common errors 
Throughout the audit campaigns, auditors regularly find similar errors in the cost claims 
presented by beneficiaries.  
At the same time, table 3.14 above shows that in FP7 63% of the errors found are small. 
It is therefore likely that the vast majority of errors arise from misunderstandings of the 
rules  or  a  lack  of  attention  to  the  detail  of  the  provisions  of  the  grant  agreements  and 
associated  guidelines.  RTD  has  made  various  efforts  to  simplify  these  rules  over  time, 
and these efforts are further enhanced with the Commission's proposals for the Horizon 
2020 programme.  
DG  RTD  has  compiled below  a  list  of  areas  where  errors  are  regularly  identified.  This 
list does not attempt to set out all the possible exceptions or unusual cases.  
Although the list of errors has already been communicated to the outside world in order 
to prevent them from happening in future, it seems useful to include it also in the 2011 
External Audits' report. 
Note: the text below is written as if addressed directly to beneficiaries. 
 
THE MOST FREQUENT ERRORS IDENTIFIED 

 
1.  Costs  claimed  that  are  not  substantiated  or  are  not  linked  to  the  project  (Guide  to 
Financial Issues pages 30-34) 
All costs claimed, with the exception of applicable lump sums and flat rates, should be 
based on the real costs incurred. They must be supported by evidence that they are real 
(recorded in the accounts of the beneficiary and supported by invoices for example), paid 
(supported  by  bank  statements  for  example),  and  linked  to  the  funded  project.  As  a 
general  rule,  neither  estimated  amounts,  nor  budgeted  amounts  are  acceptable.  Where 
these conditions are not met the amounts will be deemed to be ineligible. 
2.  Third parties and sub-contracting (Guide page 43 to 50) 
The use of third parties and/or sub-contractors should generally be identified during the 
negotiations of the project, and be set out in Annex I ("Description of work") to the grant 
agreement. Otherwise any amounts claimed will generally not be eligible.  
If you wish to use Third Parties or Sub-Contractors that are not yet included in Annex I, 
you should send an amendment request through the coordinator to the RTD service that 
signed the grant agreement. This service will provide its approval through an amendment 
to the grant agreement. The costs will then be eligible and you can include them in your 
cost claims.  
Page 46 of 51 
 

CONFIDENTIAL 
In  addition,  it  is  underlined  that  sub-contracting  between  partners  of  the  consortium  is 
not permitted under any circumstances. 
3.  Depreciation (Guide page 61 to 63) 
If you purchase equipment for your project then you are not entitled to claim the full cost 
of the equipment at the moment that you buy it.  
Rather,  you  are  entitled  to  charge  to  the  project  the  corresponding  depreciation  of  the 
equipment  over  the  part  of  its  useful  economic  life  that  falls  within  the  project.  The 
amounts that you can claim annually should be based thus on the amount of depreciation 
that  is  incurred  annually  for  the  equipment.  You  should  use  your  usual  depreciation 
policy.  Moreover,  only  the  part  of  the  equipment  (percentage  used  and  time  of  use) 
dedicated to the project may be charged. 
4.  Indirect cost models (Guide page 64 to 74) 
The FP7 indirect cost reporting methods are: 
-   actual indirect costs; either analytical or simplified, and 
-   flat rates based on the real direct costs; either 20 % or 60 % where applicable. 
If you use the "actual costs" reporting method, then this must be based on the real costs 
incurred, with evidence that they can be linked to the project.  
If you have an analytical accounting system then you must charge the indirect costs that 
are calculated by this system or chose the 20 % flat rate method. 
If  you  can  establish  the  "actual  indirect  costs",  removing  ineligible  items  and  using 
reliable cost drivers, but you do not have an analytical accounting system, then you may 
choose  the  simplified  method  for  reporting  indirect  costs  or  use  instead  the  flat  rate 
system. 
If  you  are  unable  to  establish  the  actual  costs  then  you  should  use  a  flat  rate  method, 
either the 20 % flat rate - optional for any beneficiary - or the 60 % flat rate if you fulfil 
the eligibility criteria23.   
5.  Indirect costs - Ineligible costs included in the pool of indirect costs (Guide page 64 
to 74) 
If you use the actual indirect costs model then the indirect costs must have a relationship 
with the eligible direct costs attributed to the project.  
There are a series of costs that do not meet the cost eligibility criteria or which cannot be 
linked to the direct costs of the project. These should be removed from the calculation of 
the  actual  indirect  costs.  The  ineligible  costs  would  include  marketing  and  sales  costs, 
financing  costs,  exchange  rate  losses,  goodwill,  etc;  as  well  as  those  costs  with  no 
relationship to the project. 
                                                 
23 60 % flat rate is reserved for non-profit public bodies, secondary and higher education establishments, research 
organisations and SMEs; without an analytical accounting system. 
 
Page 47 of 51 
 

CONFIDENTIAL 
6.  Personnel costs - Calculation of productive hours (Guide page 34 and 54) 
The  calculation  of  actual  personnel  costs  requires  the  establishment  of  the  productive 
hours  for  personnel.  Productive  hours  should  include  all  the  time  that  the  employee  is 
available  to  undertake  activities  for  the  organisation  (research  and  non-research 
activities).  It  should  exclude  weekends  and  holidays,  but  should  include  for  instance 
teaching time, preparation of proposals, unsold time, etc. 
As a guide, 1680 hours per year is considered to be a benchmark for productive hours. If 
your productive hours deviate from this reference the difference has to be substantiated. 
Please remember that productive hours may be very different from "billable" hours. The 
use of billable hours to calculate the hourly rates to be charged to EU research projects is 
not accepted by the Commission. 
7.  Personnel costs - charging of hours worked on the project (Guide page 52 to 55) 
You must be able to produce evidence to support the number of hours that each person 
has worked on the project. This can be by the use of a reliable time recording system or 
adequate alternative evidence giving an equivalent level of assurance. 
RTD  has  regularly  identified  time  charged  to  the  project  while  the  staff  member  is  on 
leave  or  attending  conferences  unrelated  to  the  project,  which  puts  into  question  the 
reliability of the time recoding system as a whole. If timesheets are used, please ensure 
that they are completed in good time and are properly authorised. 
8.  Personnel costs - Use of average personnel costs (Guide page 34 to 38) 
It is now permitted to use average personnel costs for the calculation of staff costs under 
certain  conditions24.  If  you  are  unable  to  meet  the  criteria  for  the  use  of  average 
personnel costs, you should declare real costs. 
9.  VAT 
In  the  7th  Framework  programme  identifiable  VAT,  whether  recoverable  or  not,  is 
totally ineligible. Please ensure that VAT is always excluded from your cost claims. 
 
 
                                                 
24 See the four criteria for using average personnel costs, adopted by Commission Decision C(2011)174 of 24 
January 2011, in the FP7 Guide to Financial Issues. 
Page 48 of 51 
 

CONFIDENTIAL 
ANNEX I: MISSION STATEMENTS 
 
Mission Statement - RTD M.1 - External Audits 
 
The Unit contributes to the assessment of the legality and regularity of the DG RTD payment 
transactions  by  means  of  ex-post  financial  audits,  thereby  providing  a  basis  of  reasonable 
assurance  to  the  Management  and  other  stakeholders  (including  the  budget  discharge 
authorities)  that  research  grant  beneficiaries  are  in  compliance  with  the  financial  rules.   The 
corrective  actions  and  follow-up  measures  which  result  from  the  ex-post  audit  activity 
contribute to  the protection and safeguarding of the European  Union’s financial interests in 
the research area. The Unit manages the relations with OLAF on irregularities and fraud cases 
of research grant beneficiaries. 
 
  RTD M.1 performs, mainly with own audit staff and occasionally through independent 
professional  audit  firms,  a  number  of  audits  ('on-the-spot-controls')  each  year,  which 
are selected from the 'auditable population' of DG RTD beneficiaries, and ensures that 
these audits are carried out professionally and managed and supervised properly. 
  RTD M.1 evaluates, reports, and monitors on a regular basis the requests for financial 
audits made by the DG RTD Directorates or other relevant parties. The Unit evaluates 
these  requests  and  carries  out  financial  audits  as necessary  with  the  required  priority 
and urgency. 
  RTD M.1 uses and maintains specific tools and methodologies for the selection of DG 
RTD  beneficiaries  to  be  audited.  The  selection  is  based  on  the  multi-annual  Audit 
Strategy  as  endorsed  by  the  Research  DGs  and  Executive  Agencies,  and  focuses  on 
achieving  sufficient  and  representative  audit  coverage  to  support  the  DGs  annual 
assurance declaration. 
  RTD M.1 provides on a regular basis management information as a result of the 'on-
the-spot-controls'. For those DG RTD beneficiaries who fail to comply with the grant 
agreement,  the  Unit  recommends  financial  adjustments  and  in  case  of  systematic 
errors, extrapolation of such adjustments towards non-audited transactions.  
  RTD M.1, after analysis and synthesis of audit results, gives feedback on its findings 
to DG RTD hierarchy and operational Directorates.  
  RTD M.1, through close co-operation and harmonisation with the other Research DGs 
and  Executive  Agencies,  takes  the  lead  in  establishing relevant  audit  policies  and 
strategies.  It  therefore  organises,  chairs  and  ensures  the  secretariat  for  the  monthly 
CAR group meetings. 
  RTD M.1, through close co-operation and harmonisation with the other Research DGs 
and  Executive  Agencies,  chairs  the  Extrapolation  Steering  Committee  in  which  a 
coherent  Research  DG  approach  is  defined  on  extrapolation  of  the  audit  results  with 
regard to common beneficiaries. 
  RTD  M.1  contributes  to  the  understanding  and  application  of  the  legal  DG  RTD 
framework  through  interpretation  and  guidelines  on  FP  DG  RTD  financial  and 
accounting  matters. The  Unit  also  contributes  in  an  advisory  capacity  not  only  to 
Page 49 of 51 
 

CONFIDENTIAL 
auditing  and  accountancy  questions  and  tasks,  but  also  to  the  legal  developments  of 
(future) participation rules and model DG RTD grant agreements. 
  RTD M.1 liaises with DG RTD M.4 to provide a timely input for the interactions with 
the European Court of Auditors.   
  RTD  M.1  provides  operational  support  for  the  External  Audit  activities  of  DG  DG 
RTD  and,  to  a  certain  extent,  those  of  the  other  Research  DGs  and  Executive 
Agencies. This is done in the form of planning coordination, extrapolation monitoring, 
preparation  of  batch  audits,  liaison  with  the  providers  of  IT  tools  and  with  financial 
Units,  and  by  collecting  and  checking  all  the  data  generated  by  audits  and  by  their 
results. 
  RTD M.1 provides support to the operational Directorates to perform technical audits. 
If necessary, the Unit participates in joint financial and technical audits. 
  RTD M.1 coordinates the relations with OLAF on irregularities and fraud cases which 
concern beneficiaries of DG RTD expenditure (external investigations). It ensures the 
liaison between OLAF and the operational services on OLAF related matters, manages 
the OLAF case files relevant to DG RTD and chairs and provides the secretariat of the 
FAIR  (=Fraud  and  Irregularities)  Committee  with  the  other  Research  DGs  and 
Executive  Agencies.  In  this  context,  it  performs  risk-based  audits  and  conducts 
specific  inquiries  in  case  of  suspicion  of  irregularities.  The  Unit  ensures  the  regular 
reporting  to  DG  RTD  hierarchy  and  the  Commissioner  on  these  cases.  Moreover,  it 
actively contributes to the implementation of the DG RTD anti-fraud control strategy 
with a particular focus on fraud detection. 
 
Page 50 of 51 
 

CONFIDENTIAL 
Mission Statement - RTD M.2 - Implementation of Audit Certification Policy 
and outsourced audits 
 
The Unit contributes to the assessment of the legality and regularity of the DG RTD payment 
transactions by means of ex-post financial audits performed through independent professional 
audit firms. Through the definition and implementation of the cost methodology certification 
function for FP7, the  Unit contributes in  an  ex-ante  manner to  the legality  and  regularity  of 
future  DG  RTD  payment  transactions.  The  aim  is  to  provide  an  overall  basis  of  reasonable 
assurance  to  the  responsible  authorising  officers,  senior  management  and  other  stakeholders 
(including ultimately the budget discharge authorities) that research grant beneficiaries are in 
compliance  with  the  financial  rules. The  corrective  actions  and  follow-up  measures  which 
result from the ex-post audit activity contribute to the protection and safeguarding of the EU’s 
financial  interests.  On  the  basis  of  its  experience  the  Unit  provides  advice  to  managers  of 
research grants and contributes to policy development. 
 
RTD M.2's mission can be broken in the following activities: 
 
  To  perform,  exclusively  through  independent  professional  audit  firms,  a  number  of 
batch  audits  each  year.  Ensure  that  these  audits  are  professionally  managed  and 
supervised, by proper planning and follow-up of audit assignments, quality control of 
deliverables,  liaison  with  external  audit  firm  representatives  and  other  DGs  of  the 
'research family'.  
  On the basis of the audit reports, for those DG RTD contractors that fail to adhere to 
the  contract,  the  Unit  recommends  financial  adjustments  and,  in  case  of  systemic 
errors, the extrapolation of such adjustments to non-audited transactions.  
  To  manage  the  public  procurement  and  follow-up  of  the  audit  service  framework 
contracts. 
  To  ensure  support  to  the  implementation  of  the  audit  certification,  focusing  in 
particular on the cost methodology certification process introduced under FP7.  Upon 
request,  the  Unit  also  offers  advice  and  guidance  on  the  implementation  of  the  FP6 
audit certificate function. 
  To  monitor  the  implementation  of  the  audit  certificate  policy  in  general  and  co-
ordinate all matters related to audit certification with other DGs of the research family 
and vis-à-vis DG BUDG. Where applicable, the Unit ensures liaison with national or 
international professional audit bodies. 
  To  provide  input  for  the  annual  activity  report,  the  budget  discharge  process  and 
relations with the European Court of Auditors for matters linked to audit certification 
and outsourced audit matters.  
  To contribute in an advisory  capacity to the developments of future policy  rules (in 
particular  (participation  rules  and  model  grant  agreement  provisions)  and  business 
processes, based upon the knowledge gained in the certification process.  
 
Page 51 of 51