Esta es la versiĆ³n HTML de un fichero adjunto a una solicitud de acceso a la informaciĆ³n 'Meetings with Everis and with IT solutions providers'.


Document 70
Ref. Ares(2019)6643033 - 28/10/2019
16th meeting of the monitoring sub-group of the Coordination Group on the EU clinical trials 
Regulation 
17.09.2019 
Audioconference 
15.00   16.00 
Draft minutes of the meeting 
Chair: European Commission 
Date: 
Tuesday 17th of September 

, European Commission 
EC : 
 
EMA: 
 
AT : 
 
BE: 
 
DE: 
 
Everis : 
 (partim) 
DK:  
 
Actions 
- members are invited to give comments to the conclusions document as discussed during the
meeting
1. Adoption of the agenda 
The agenda was adopted. 
2. Sprint 10 reporting
Everis presented the results of the KPI for the sprint 10 (and the complete release 10) on the basis of 
a powerpoint presentation (see annex).  The results of sprint 10 were discussed on the basis of slide 
5. As for the release results (slide 11-12-13), some detail was given on the individual results for the
whole release (sprint 7   8   9   10) :
-
-
-

-
 items were finalised and   bugs were created, resulting in a net result of 
items
-

-
-
 new bugs were identified. However, analysis is still ongoing to pinpoint the
origin and root cause
Regression  test  results  were  discussed  in  more  detail.  Remedial  actions  have  been  already  put  in 
place, but some additional actions will only be taken in sprint 13   still almost 2 months away.  The 
importance  of  these  tests  was  stressed    they  are  indicative  of  the  quality  of  development  as  a 
whole. The evolution over time was clarified   this was not clear in the slidedeck. 
Additional  questions  on  the  whole  slidedeck  can  be  transferred  to  Everis  (
 
@everis.com) 
3. Conclusions from the monitoring period   discussion
A  preparatory  draft  paper  was  circulated  before  the  meeting  as  a  basis  for  a  discussion  on  joint 
conclusions from the Monitoring Sub-group.  A reading of this document was performed.   
The group agreed on the conclusions chapter. The quality KPIs are crucial parameters for the project 
and should be improved.  A better graphic representation of the results is needed in order to not 
confuse the reader with the abundance of data.   
In the conclusions, a very basic assumption for the audit date is made based on the net items result 
of release 10.  It was emphasised that this is a very basic estimation that does not take into account 
the complexity of the project.  This will be clarified in the text, and a more substantiated calculation 
will be delivered by EMA end of September. 
With regards to the decision tree, there is a consensus that option 2 would be the most appropriate 
 It is clear that there is then a need to 
prolong the monitoring period.  Concrete steps were discussed: 
-
Increase  focus  on  the  functionalities  on  the  basis  of  the  identified  business  blockers  and
clusters instead of purely focussing on individual items. It was stressed that this should be
seen in a holistic way.  In practice, an end-to-end exercise with sponsors and member states
should  bring  more  clarity  on  the  exact  status  of  CTIS,  getting  a  view  on  which  bugs  are
blocking the functionalities.  It is expected that such exercise would lower the workload to do
before the audit.
-
A higher quality of work needs to come from Everis.  Both on the issue of bug generation
during
It was explained that the contract with Everis currently is based on the KPI, and is not very
different from the fixed price part.  There is a willingness to change the contract in order to
incentivise Everis towards a better performanc
There was no consensus on the introduction of a lead PO.  It was pointed out that a fast decision 
process  is  already  in  place.  However,  there  is  still  room  for  improvement.  The  need  for  clear 
communication  and  fast  decision  making  was  stressed.    The  need  for  a  lead  PO  will  be  further 
assessed in the upcoming sprint on the basis of concrete interactions. 

All members of the subgroup are invited to comment on the draft document by Thursday 19/09 EOB. 
A  new  consolidated  version  will  be  circulated  at  the  latest  on  23/09  as  a  preparation  for  the 
Coordination Group telco on 25/09.