Ceci est une version HTML d'une pièce jointe de la demande d'accès à l'information 'Information related to the H2020 Speaker Identification Integrated Project (SiiP) project'.




Ref. Ares(2018)4699176 - 13/09/2018
PROJECT SIIP 
Deliverable 9.4:  
Field Testing and End-User Training Final Report 
Date of publication: 30 April 2018 
Reference: LA/51275-54/5.4/JBA/XB/tsa 
Due date of deliverable: 30 April 2018 
Organization name of lead contractor for this deliverable: INTERPOL 
Dissemination level: Restricted to a group specified by the consortium (including the Commission Services) 
Start date of project: 1 May 2014 
Duration: four years 

link to page 3 link to page 5 link to page 5 link to page 5 link to page 6 link to page 8 link to page 8 link to page 8 link to page 8 link to page 9 link to page 9 link to page 10 link to page 10 link to page 10 link to page 11 link to page 11 link to page 12 link to page 16 link to page 17  
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
TABLE OF CONTENT 
1 
INTRODUCTION ....................................................................................... 3 
2 
OVERVIEW .............................................................................................. 5 
3 
PARTICIPANTS ......................................................................................... 5 
3.1 
Consortium Meeting ............................................................................... 5 
3.2 
Field Test and End-User Training ............................................................. 6 
4 
DISCUSSIONS .......................................................................................... 8 
4.1 
Key note speech ...................................................................................... 8 
4.2 
SIIP overall presentation ......................................................................... 8 
4.3 
Demonstration ........................................................................................ 8 
4.4 
Enrichment presentations ....................................................................... 9 
4.4.1 
German Federal Police .............................................................................................. 9 
4.4.2 
International Biometric Group ................................................................................. 10 
4.4.3 
New Scotland Yard .................................................................................................. 10 
4.4.4 
Portuguese Criminal Police ...................................................................................... 10 
4.4.5 
Netherlands Forensics Institute ............................................................................... 11 
5 
END-USER TRAINING ............................................................................. 11 
6 
DISSEMINATION .................................................................................... 12 
7 
CONCLUSION ......................................................................................... 16 
ANNEXES .......................................................................................................... 17 
 
 
 
 
 
Page 2/23 
 
 

 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
1  INTRODUCTION 
The present document consists of deliverable D9.4 “Field Testing and End-User Training final report” of 
the  Speaker  Identification  Integrated  Project  (SIIP).  SIIP  is  a  European  Union  funded  research  project, 
under the 7th Framework Program (FP7), aimed at developing law enforcement capabilities in the field of 
voice recognition and speaker identification, including the ability for law enforcement agencies (LEA) in 
one country to search databases of speakers in other countries via INTERPOL. Law enforcement agencies 
in  INTERPOL  member  countries  and  INTERPOL  itself  represent  the  potential  end-users  of  the  SIIP 
outcome. 
Deliverable D9.4 “Field Testing and End-User Training final report” is prepared within the scope of Work 
Package  9  “Validation,  Field  Testing  and  End  Users  training”  efforts  as  detailed  in  Box  11.  The  report 
starts  by  presenting  the  objectives  and  structure  of  the  event  hosted  by  INTERPOL  at  its  General 
Secretariat premises on 21-22 November 2017. Further on, it describes the event audience, presenting 
the participants’ background. The report contains a detailed outline of the event content, including the 
live  demonstrations  performed  by  two  LEAs  in  their  capacity  as  project  partners,  the  enrichment 
presentations, the training session and adjacent discussions. Additionally, the deliverable expands on the 
dissemination  efforts  undertaken  prior  to,  during  and  following  the  event,  including  the  associated 
material. The report ends with some conclusions and final thoughts on the overall impression of the end-
user  community  regarding  the  developed  tool.  For  readers’  convenience,  the  annexes  comprise  the 
event  agenda,  template  invitation  letter  circulated  to  the  stakeholders,  group  photo  as  well  as  the 
updated version of the SIIP factsheet. 
To contextualise the endeavours presented in the present deliverable, Box 1 below reproduces from the 
SIIP Description of Work (DoW), the Work Package 9 objectives, the tasks of relevance to the report, and 
the expected deliverables. 
 
Box 1. Extract from SIIP Description of Work: Work Package 9 “Validation, Field Testing and End Users training” (with minor 
edits) 

Objectives 
A. Validation 
-  to  validate  and  quantify  the  real-world  performance  of  the  integrated  SIIP  solution,  with  a  focus  on  quantifying 
improvements over current-generation voice identification technologies; 
- to identify the factors that most directly influence performance in text-independent voice identification systems, such as 
input device, operational environment, subject composition; 
-  to  provide  the  EC  with  information  required  to  substantiate  and  justify  the  use  of  SIIP  technologies  in  a  range  of 
environments central to the security domain. 
B. Field Testing and End-Users training 
- to run the field tests to test the integrated solution in real field environment and scenarios; 
- to train SIIP end users so they will be able to operate SIIP system directly during the field tests; 
- to train INETRPOL, PJ, MPS, BKA and RACIS investigation officers about SIIP/SISC portal & MMI  operation, features and 
capabilities (so they will be able to operate the system directly during the field tests). 
Description of work  
T9.4  Field  Test  Plan  will  run,  try  and  validate  the  SIIP  eco-system  (SIIP<-->SISC)  in  3  theatres  in  parallel  (PJ,  RACIS  and 
INTERPOL) in order to demo the SIIP eco-system capabilities. This will ensure that the developed solutions are feasible in a 
variety of LEA investigation environments. The primary objective of the field test tasks will be to allow the consortium to 
                                                           
Box 1 reproduces from the SIIP Description of Work, the WP9 objectives, the description of tasks of relevance to the present 
report, as well as the list of expected deliverables. 
 
Page 3/23 
 
 

 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
install, commission and conduct the various tests required to prove the effectiveness of the SIIP solution. 
Therefore the Field Test Plan will have to take into account the following points to ensure its success: 
• Provision of sufficient space to install the SIIP equipment, provision of power for the SIIP equipment, provision of Local 
Area  Network  (LAN)  connectivity,  hosting  of  any  IT  equipment  (servers  etc.)  on  campus  that  may  be  required,  WAN 
connectivity required to access components of the SIIP solution; 
• Provision of LEA staff to facilitate field tests (by prior arrangement); 
• Co-ordination with any person and entity that are involved in the field tests; 
• Scenarios content and scenario acting procedures and personnel; 
• Preparation of scenarios simulated data; 
• The way of describing and the scenario story to the audience; 
• Event dissemination plan, event agenda, event guests/audience list , invitations , event documentary movie; 
• Field test day logistics (catering, seats, accommodation etc.); 
• Clear definition of the test strategy and test plans. 
 
T9.5 Field Tests Execution  
For the purpose of executing field tests for the SIIP solution the following sub-tasks will be carried out: 
• INTERPOL will provide lab space where SISC will be installed; PJ will provide lab space where the SIIP (PJ) will be installed; 
RACIS will provide lab space where the SIIP (RACIS) will be installed. 
• The consortium will act and simulate two field test scenarios: 
1. Scenario #1: Jewelleries robbery investigation 
2. Scenario #2: Terrorist attack investigation 
•  Perform  two  Field  Test  Demo  day-events,  one  at  INTERPOL  and  second  at  PJ.  These  two  events  will  be  a  show  of  SIIP 
consortium  where  the  system  SID  capabilities  and  international  info  sharing  mechanism  will  be  demonstrated  (based  in 
simulated data) to external guests (LEAs and policy makers from all Europe). Therefore, this event can be also considered as 
dissemination event. 
• During the field test event day, the consortium will simulate each of these scenarios by acting them, step by step, and 
show to the guests the system capabilities and performance. 
• The whole SIIP eco-system (SIIP-SISC) will be activated and demonstrated including: 
o  SIIP/SISC  portal  (which  will  be  operated  directly  by  PJ,  RACIS  and  INTERPOL  officers  who  will  be  trained  for 
operating the system portal and MMI (T9.6); 
o SIIP and SISC functionalities; 
o SIIP secured, privacy preserving model, for international info sharing of voiceprints and metadata. 
 
T9.6  Field  Tests  results  analysis  and  development  of  recommendations  and  findings  on  extensibility  of  technology  to 
security domain  

Results  from  SIIP  assessment  and  validation  will  support  development  of  recommendations  and  findings  on  the 
extensibility  of  the  SIIP  technology  to  security  domain.  These  recommendations  will  explore  several  dimensions  of 
extensibility,  including  scale  (number  of  enrolments,  range  of  environments  in  which  cross-platform  identification  is 
possible);  optimizing  trade-offs  between  automated  and  analyst-driven  identification  to  support  highly  reliable 
identification; and determining the minimum voice sample that can be used to support reliable identification. 
Description of deliverables 
D9.1) Validation and Performance Testing Methodology 
D9.2) Validation and Performance Testing In-Progress POC Report 
D9.3) Validation and Performance Testing Final Report and Recommendations 
D9.4) Field Testing and End-User Training Final Report 
 
Page 4/23 
 
 

 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
2  OVERVIEW 
From the 21st to the 22nd of November 2017, INTERPOL hosted the second and final SIIP Field Test & End-
User  Training  at  its  General  Secretariat  premises  in  Lyon,  France.  The  event’s  main  objective  was  to 
validate the  SIIP  system’s operational capabilities  using a research database  with real audio-recordings 
and  to  organize  a  set  of  workshops  dedicated  to  training  end-users  in  handling  the  SIIP  system. 
Furthermore,  the  end-user  feedback  would  contribute  to  enhance  the  technical  tools  and  individual 
capabilities, improve the user interface portals and refine the different evaluation criteria. 
 
The two-day event was organised as follows:  
  First, the Consortium Meeting was held on 21 November. It was attended by a smaller audience 
comprising  project  partners  involved in the  execution of the Field Test. This rehearsal  meeting 
had  the  objective  to  ensure  the  smooth  organisation  and  execution  of  the  final  Field  Test  the 
following  day  by  testing  the  equipment,  ensuring  the  availability  of  necessary  connection  and 
infrastructure,  fine-tuning  any  last-minute  needs  and  demands  and  finalising  coordination 
between the actors;   
 
  Followed by the Field Test and End-User Training organised on 22 November and attended by a 
large  audience  consistent  of  consortium  partners,  numerous  external  participants,  INTERPOL 
staff from different departments and European Commission representatives. 
 
A social event was organised at the end of the rehearsal meeting, allowing the partners to get together 
and  welcome  the  experts  that  committed  to  attend  the  final  Field  Test  the  following  day.  The  social 
programme included a sightseeing boat tour combined with dinner, enabling the participants to engage 
in discussions and exchange opinions about the SIIP project in an informal setting.  
3  PARTICIPANTS  
3.1  Consortium Meeting 
The first day rehearsal meeting was attended by the following consortium partners: 
  Airbus Defence and Space  
  Carabinieri, Italy 
  Data Fusion International 
  Idiap Research Institute  
  INOV - INESC Inovação Instituto de Novas Tecnologias 
  INTERPOL 
  NUANCE 
  Laboratory of Citizenship Sciences (Laboratorio di Scienze della Cittadinanza – LSC) 
  Metropolitan Police (MET) UK  
  Novetta  
  OK2GO 
 
Page 5/23 
 
 

 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
  University of Groningen 
  SAIL Labs Technology 
  SINGULARLOGIC 
  Synthema 
  Verint 
  Federal Criminal Police Office of Germany (Bundeskriminalamt - BKA)  
  Portuguese Criminal Police (Policia Judiciaria - PJ)  
  Warwick University 
 
 
3.2  Field Test and End-User Training 
The  Final  Field  Test  &  End-User  Training  was  attended  by  110  participants  representing  more  than  50 
countries coming from a diverse range of backgrounds, with different but mutually complementary areas 
of expertise. 
The attendees included representatives from the following categories: 
  SIIP consortium members;  
  External experts invited by INTERPOL, including:  
o  Officers  from  over  40  law  enforcement  authorities  (the  BKA,  Swiss  Police,  the  General 
Department of Criminal Evidence of Kuwait, NCB2 India, NCB Guinea-Bissau etc.);  
o  Several  INTERPOL  directorates  (i.e.  Fugitive  Investigative  Support,  Maritime  Security, 
Counter-Terrorism, Information Security);  
o  Representatives  of  academia  and  the  private  sector  (i.e.  research  institutes,  SMEs,  
providers  of  software  and  technological  solutions  in  the  field  of  speech  and  language 
technologies, technology developers).  
  External reviewers from the European Commission.  
 
The  main  profile  of  participants  included  investigators,  intelligence  analysts  and  operational  personnel 
carrying  out  investigations  in  the  field,  providing  their  valuable  points  of  view  on  the  needs  and 
requirements  of  end-users.  In  addition,  people  active  in  the  field  of  speaker  recognition,  such  as 
practitioners with a thorough experience of automatic systems, were present. 
 
The second-day event attendees came from the following organisations: 
  Australian Federal Police  
  Home Office Digital, Data and Technology 
                                                           
2  Each  INTERPOL  member  country  maintains  a  National  Central  Bureau  (NCB)  linking  national  police  with  INTERPOL’s  global 
network of NCBs. The NCBs are staffed by national law enforcement officers and typically located as a division of the national 
police agency or investigation service.   
 
Page 6/23 
 
 

 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
  Counter Terrorism Unit, Belgium Federal Police  
  Digital Security, EURECOM 
  Division of Identification and Forensic Science 
  European Commission ERC 
  ENFSI Expert Working Group Forensic Speech and Audio Analysis 
  Estonian Forensic Science Institute 
  Federal Police  Limburg, Belgium  
  Forensic Bureau, International Security Agency, Poland 
  Forensic Science Centre of Lithuania 
  L3S Research center, Leibniz University of Hannover 
  Greek Police 
  Inter-ministerial control group (GIC), France 
  Financial Guard (GdF), Italy  
  Hungarian Institute for Forensic Sciences 
  Internal Security Forces, Lebanon 
  Institute for Advanced Technologies, University of Virginia 
  Ministry of the Interior of Croatia 
  National Centre for Biometric Studies Pty Ltd Australia  
  National Crime Agency UK 
  National Central Bureau Bissau 
  National Central Bureau India 
  National Central Bureau Rabat 
  NEC Japan 
  National Forensic Institute, Romania 
  French National Police 
  Phonexia, Czech Republic 
  Police Service of Northern Ireland   
  Federal Police of Brazil  
  Punjab Police, India 
  French Forensic Police Office 
  State Forensic Examination Committee of the Republic of Belarus 
  Swedish Security Service 
  Swiss Federal Criminal Police 
 
 
Page 7/23 
 
 

 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
Given the multidisciplinary nature of the SIIP project, throughout its lifespan, the project benefited from 
a global  pool of experts in  the  field of speaker  identification technology, comprising  law enforcement, 
private sector and academia. Certain attendees of the Field Test have already engaged in past SIIP events 
and activities, by participating in the previous Filed Test organised by the Portuguese Criminal Police in 
April 2017  or  the  Proof of  Concept  event held in  June  2016  or  by providing  their  feedback  to the  SIIP 
questionnaire circulated at the project’s launch in July 2014.  
4  DISCUSSIONS 
This  section  covers  the  content  of  the  discussions  held  during  the  second  day  meeting,  the  final  Field 
Test. 
4.1  Key note speech 

 INTERPOL, inaugurated the event. As part of his 
keynote  speech, 
  highlighted  the  heavy  work  that  SIIP  has  done  to  explore  the  operational, 
technical,  forensic,  legal,  societal  and  ethical  perspectives  related  to  the  evolving  field  of  speaker 
identification.  Furthermore, 
  reminded  the  audience  of  the  increasingly  changing  landscape 
shaped  by  on-going  technological  developments,  under  which  LEAs  worldwide  have  to  operate.  The 
INTERPOL 
  stressed  the  potential  operational  value  that  the 
combination  of  speaker  identification  with other  biometric  technologies  such  as  fingerprints  and  facial 
recognition  has,  and  how  it  could  potentially  enhance  investigative  capabilities  and  facilitate  checks 
made against INTERPOL’s databases. 
4.2  SIIP overall presentation 
Following the opening remarks by 
, the project coordinator, 
 from Verint, 
provided an overview  presentation  of  the  SIIP  project. 
 presented the  project’s  key  aspects 
and  outlined  the  project’s  milestones.  The  project  coordinator  reminded  the  audience  of  the  SIIP 
research  objectives  (technological  SIIP  system  use  cases,  info  sharing  procedures  and  methodologies, 
legal,  ethical  and  societal  acceptance)  and  the  consortium  expectations  from  the  final  Field  Test 
(demonstrate the developed system, disseminate the project results and receive feedback from experts 
and end-users).  The project  coordinator  concluded his intervention by inviting  all the event  guests  and 
participants to introduce themselves, mentioning their background and project engagement.  
4.3  Demonstration 
To display the SIIP system’s innovative capabilities  and global info sharing mechanism, two LEA project 
partners (the UK Metropolitan Police and the Portuguese Criminal Police) performed live demonstrations 
of  the  system  and  its  contribution  to  law  enforcement  work,  while  IDIAP  presented  the  fusion 
algorithms.  
The  Metropolitan  Police  field  test  scenario  focused  on  the  identification  of  an  unknown  hate  speech 
propagandist  preaching  in  both  English  and  Arabic  on  different  Internet-supported  channels.  The 
unidentified  speaker  was  compared  to  a  reference  database  of  known  preachers.  The  SIIP  system  is 
capable  of  capturing  speech  files  from  a  variety  of sources,  including  open  source  internet  search  and 
imported material.  
The Portuguese Criminal Police executed a scenario involving a robbery investigation based on lawfully 
intercepted mobile telephone conversations in Portuguese.  
 
Page 8/23 
 
 

 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
Both  scenarios  used  real  data.  As  part  of  the  demonstrations,  each  law  enforcement  authority 
representative  demonstrated  the  system’s  operation  step  by  step:  creation  of  case  management  file, 
creation  of  speaker  of  interest,  data  importation,  segmentation  and  enrolment,  creation  of  known 
speaker model, processing of audio for search against reference database, sharing audio with SISC (SIIP 
Sharing Center), analyses of output. The  process was explained to the audience detailing the operation 
of  the  overall  SIIP  eco-system.  The  demonstration  described  the  three  levels  of  the  system,  precisely 
national  police  headquarters,  centralized  secured  database  at  INTERPOL  for  analyzing  and  comparing 
voice samples and the tactical level based on portable devices such as smartphone or tablet. Based on 
this architecture, the SIIP eco-system entails an international info sharing mechanism of voiceprints and 
metadata.  The  SIIP-SISC  portal  operates  on  four  pillars  consistent  of  core,  collection,    enrollment  and 
global.  The  system’s  functionalities  were  covered,  i.e.  age,  gender,  language,  accent  detection,  search 
and  filter  database  of  reference  speaker  files.  In  both  demonstrations,  intelligence  operators 
incorporated  the  automated  speaker  recognition  engine  outputs  (i.e.  ranked  list  of  potential  matches 
based on scores to confidence and likelihood ratio to scores) with other available relevant information. 
Through  these  simulated  live  scenarios  displaying  the  use  of  the  SIIP  portal  based  on  real  cases,  the 
audience  witnessed  the  system’s  innovative  probabilistic,  language  independent  capabilities  based  on 
the fusion of a variety of Speaker Identification (SID) engines able to identify unknown speakers in social-
media/OSINT and lawfully intercepted channels. The tool can also be applied to recordings made directly 
at a crime scene. These demonstrations confirmed that the developed solutions are feasible in a variety 
of LEA investigation environments. Finally, the guests were shown the SIIP system’s secured and privacy-
preserving model built on privacy by design architecture.  
4.4  Enrichment presentations 
Following the  SIIP  system’s live  demonstrations, a number of enrichment presentations  were  made  by 
different consortium partners to complement the Field Test event.  
4.4.1  German Federal Police  
  from  the  German  Federal  Police  (BKA)  Language  and  Audio  department  (KT34)  made  a 
presentation on  the  “SIIP Benefits  for  Investigation and  Intelligence”. 
  gave  an overview  of 
the  state  of  forensic  speaker  recognition  research  and  development  (existing  projects,  applicable 
international standards, norms and requirements). He then provided examples of the current application 
of voice biometry (commercial speaker identification such as telebanking and forensic voice comparison 
as  part  of  prosecution  and  criminal  courts  activities). 
  described  the  benefits  of  voice 
biometry  for  investigation  and  intelligence,  highlighting  the  SIIP  solution’s  impact  and  potential 
exploitation from a European perspective. The identified benefits included: 
  SIIP  results  confirm  the  potential  applications  of  automatic  SID  using  language-independent, 
multi-source database applications for investigative, intelligence purposes; 
  SIIP has the potential to tackle transnational threats, terrorism, organized crime; 
  SIIP  complies  with  the  Internal  Security  Strategy  (ISS)  of  cooperation  between  EU  LEAs  and 
relevant third countries; 
  SIIP  delivers  the  necessary  infrastructure  for  secure cross-border exchange  of speech, speaker 
data.   
Nevertheless, 
 cautioned that the human factor plays an important part within the SIIP expert 
system,  so  it  should  be  taken  into  consideration  alongside  the  knowledge  and  training  aspects. 
Furthermore, he suggested that more testing with real data was required.  
 
Page 9/23 
 
 

 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
4.4.2  International Biometric Group 
The International Biometric Group made an intervention on “Biometric Liveness and Presentation Attack 
Standards”. 
 started by defining the terms. Presentation attack refers to presentation to the 
biometric data capture subsystem with the goal of interfering with the operation of the biometric system 
in  order  to  impersonate  or  obfuscate  someone’s  identity.  Presentation  attack  detection  (PAD)  is  an 
automated determination of a presentation attack, and liveness detection is a PAD technique employed 
by some biometric systems to detect presentation attacks. Turning on to the issue of standardization of 
presentation  attack  detection,  the  presenter  outlined  some  of  the  reasons  behind  the  standardization 
efforts  (e.g.  PAD  susceptibility  undermines  the  utility  of  biometric  systems,  to  enable  measure  and 
understanding  of  PAD  subsystem  performance,  etc.)  and  listed  the  published  standards  (i.e.  ISO/EC 
30107-1:2016,  ISO/EC  30107-3:2017).  Further  on,  some  of  the  key  concepts  addressed  in  the 
international standards were explained (i.e. sensor/capture device, presentation attack instrument) and 
the measuring of PAD performance explained (12 PAD performance metrics, measuring places, etc.). Mr 
Thieme  concluded  his  intervention  by  presenting  some  of  the  challenges  and  complications  related  to 
PAD and its future, mentioning how resource-intensive testing was, the effect of rapidly changing state 
of the art and the impact of machine learning on PAD development. 
4.4.3  New Scotland Yard 
 from the National Digital Exploitation Service (NDES) within the Counter Terrorism Policing 
at  New Scotland Yard presented on the  “Operational Potential of the SIIP system”. In line  with NDES’s 
vision  to  be  a  world  leading  service,  it  plans  to  make  the  best  use  of  new  technology  and  strives  to 
ensure that capabilities are developed and utilized efficiently. Within this context, the NDES operates the 
Digital Seven services (for the Metropolitan Police London) with responsibility for  Communications Data 
Exploitation,  Open  Source  Exploitation,  Digital  Media  Exploitation,  Lawful  Interception,  Technical 
Innovation and Development, Digital Biometric Exploitation, Digital Operations. With the exponential rise 
in media uploads, the Counter Terrorism Internet Referral Unit was formed in 2010. This unit is in charge 
of identifying harmful online content and seeking to remove it by contacting the hosting companies. 
 
  highlighted  the  potential  of  the  SIIP  solution  to  respond  to  future  challenges  by  offering  the 
global law enforcement environment a workable framework taking into consideration the ethical, legal 
and societal aspects. The identified SIIP use cases and benefits included: 
  Lawful interception; 
  Identifying persons responsible for the upload of harmful media;  
  Identifying unknown third parties collected through covert or overt policing activity; 
  Collaborative working to maximise language resource; 
  Utilising the academic findings to assist in the creation of lawful and ethical frameworks.  
4.4.4  Portuguese Criminal Police 
The Portuguese Criminal Police made a presentation on the operational uses of SIIP. 

 within the Portuguese Criminal Police, started by presenting the national legislative context 
(Internal  Security  Law  n°58/2008  and  the  provision  on  control  of  communications,  as  well  as  the 
restrictive  data  protection  requirements)  within  which  SIIP  would  have  to  operate. 
  defined 
the operating monitoring system (e.g. all recordings in stereo), the tools used (Batvox Nuance software) 
and listed the means from which data can be collected (e.g. lawfully intercepted calls, emergency calls, 
internet support). On this background, 
 highlighted that SIIP could be used to perform fast 1 to 
N speaker recognition and speech recognition, whilst tactical SIIP can be used on the field when the voice 
of  the  target  is  known.  Additionally  the  evidence  processing  and  analysis  use  offered  by  SIIP  was 
detailed,  such  as  the  creation  of  a  case  file  in  SIIP  based  on  a  request  received  from  investigator, 
provision of comprehensive reports on audio tests, upload of voice prints, queries within SISC and local 
 
Page 10/23 
 
 

 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
databases (pending legislative revision). Another example of SIIP’s operational use is the support to real-
time field operations and quick tests given the system’s simple interface and its ability to interconnect 
with field devices,  and to accept data  from various audio sources.  Concerning  judicial admissibility, 
 
 highlighted that according to Portuguese legislation, forensics voice examination does not qualify 
as evidence but would contribute to the judicial decision. Finally, 
 highlighted that the results 
obtained from 1-to-N comparisons performed by SIIP are pre-forensic, meaning that to be presented in 
court, it  will always be  necessary to ensure the suspect reference  sample for forensic comparison and 
identification 1-to-1 (as  in fingerprints,  DNA  and  any  other  biometric method)  and  does  not  qualify  as 
evidence  but  would  contribute  to  the  judicial  decision.  Mr  Freitas  outlined  some  of  the  encountered 
technical difficulties such as the inherent features of old recording systems, the short duration of useful 
audios  and  the  degradation  of  the  original  quality  of  audio  files  during  conversion  to    requested 
parameters. 
4.4.5  Netherlands Forensics Institute 
Finally,  a  presentation  by 
  from  the 
Netherlands Forensics Institute, was cancelled due to travel impediments. 
 input focused 
on providing some recommendations to the SIIP system once it becomes operational, such as  ensuring 
support by technical staff and forensic speech experts, and database maintenance (e.g. back-up, update).  
5  END-USER TRAINING 
The original objective of the training session was to organise a set of workshops dedicated to the training 
of potential SIIP end-users (technical personnel, intelligence analysts and operational personnel carrying 
out  investigations)  on  the  operation,  features  and  capabilities  of  the  developed  system.  Given  the 
composition  of  the  Field  Test  participants  as  described  in  Section  2,  comprising  law  enforcement 
representatives  from  a  diverse  background,  one  can  conclude  that  the  targeted  audience  was 
successfully  gathered.  However  due  to  the  large  turn-out,  exceeding  the  expectations  at  the  time  of 
drafting  the  SIIP  DoW,  the  individual  hands-on  training  session  had  to  be  converted  to  a  lecture  type 
public training held in INTERPOL’s main conference hall. To facilitate the training session, a hard copy of 
the  End-User  Manual  was  distributed  to  participants,  enabling  them  to  simultaneously  follow  the 
explanations and refer to the Manual when necessary. 
Singular  Logic conducted  the  training  session,  navigating  the  audience  throughout  the  SIIP  system  and 
explaining its features and capabilities as demonstrated during the field environment scenarios earlier in 
the day by the Metropolitan Police and the Portuguese Criminal Police. In addition, the trainer referred 
to the End-User Manual and SIIP portal updates. Singular Logic expanded on the content of the End-User 
Manual, which includes definition of main use cases and of execution scenarios implementing those use 
cases. The end-user feedback provided throughout the project’s lifespan  contributed to the revision of 
the  preliminary  Manual  and  compiled  training  material.  As  a  result,  an  extra  chapter  was  added 
explaining media upload and import, flow diagrams were included in each chapter, further information 
was provided to ensure greater clarity. In addition to Manual revision, end-users’ input was integrated as 
part of the technical work packages to enhance the developed tools and individual capabilities, to modify 
the user interface portals (WP7) and to refine the different evaluation criteria (WP9). Among the portal 
updates  was  mentioned  the  addition  of  a  new  use  case,  and  the  UI/UX  enhancements  e.g.  display  of 
audio  file’s  name  under  speaker’s  profile,  visibility  of  engine  results  in  case  of  no  speaker  match.  To 
ensure an interactive training session, the floor was open to the audience which to intervene and raise 
questions or request additional information as to the system’s performance.  
 
Page 11/23 
 
 


 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
6  DISSEMINATION 
Various means have been employed to inform the stakeholders about the organization of the event and 
to ensure the widest dissemination of the Field Test results. Prior to the event, a notice was published on 
the  INTERPOL  official  website3  informing  about  the  purpose  of  the  Field  Test,  the  sought  expertise  of 
participants and including a link to the SIIP website, where registration for the event was possible.  
 
Figure 1. Print screen of the informative note about the SIIP Field Test on INTEROL’s website  
 
                                                           
3  https://www.interpol.int/News-and-media/Events/2017/Speaker-Identification-Integrated-Project-SIIP/Speaker-Identification-
Integrated-Project-SIIP-Field-test-2  

 
Page 12/23 
 
 


 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
The  project’s  website  also  displayed  a  Field  Test  announcement  which  included  a  description  of  the 
event, 
invitation, 
event 
agenda, 
SIIP 
factsheet 
and 
SIIP 
brochure.4    
 
Figure 2. Print screen of the registration page on the SIIP website 
A video promoting the SIIP project and explaining how the system works was published on the INTERPOL 
official  website5  and  the  SIIP  website.6  The  video  provides  an  overview  of  the  project,  the  consortium 
members  and  explains  how  voice  recordings  are  collected  and  processed  and  how  this  could  serve  to 
identify criminals.  
                                                           

  
5 https://www.interpol.int/News-and-media/Videos/(video_id)/35605  
6
  
 
Page 13/23 
 
 




 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
 
Figure 3 & 4. Print screen of the SIIP explanatory movie available on the INTERPOL and SIIP websites  
INTERPOL updated its SIIP factsheet (available in French, Spanish, English and Arabic) in order to reflect 
the  latest  project  developments,  such  as  the  outcome  of  the  Proof  of  Concept  event  held  at  the 
Carabinieri School in Rome in June 2016 and the contribution of the first Field Test organized in Lisbon in 
March 2017. This latest version of the SIIP factsheet, available in Annex, also announced the final Field 
Test to be hosted by INTERPOL.  
The page dedicated to the SIIP project on the INTERPOL website was also updated accordingly.7  
 
Figure 5. Print screen of the SIIP page on the INTERPOL website  
 
The  INTERPOL  Communications  departments  provided  live  event  support  during  the  SIIP  Field  Test, 
ensuring  filming, photography  and post-production, as well as  web support  with press  release  drafting 
and publication. Some of the pictures were published afterwards on the SIIP website.8  
                                                           
7 https://www.interpol.int/About-INTERPOL/Legal-materials/ICT-Law-Projects/SIIP-Project  
8
  
 
Page 14/23 
 
 



 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
Figure 6. Picture taken during the Field Test event  
The  video material prepared includes  a flash video report9  published on YouTube  under the INTERPOL 
channel, as well as videos of the different individual presentations. 
 
 
  
 
 
 
 
 
 
 
Figure 7 & 8. Print screen of the video material available on YouTube and INTERPOL website  
 
In addition, a video of the key note speech made  by 
 INTERPOL 
 
 was published on the INTERPOL official website. 10   
Following  the  event,  a  press  release  was  published  on  the  INTERPOL  internal  website  highlighting  the 
event outcomes to a worldwide audience of 192 member countries.  
                                                           
9 https://www.youtube.com/watch?v=i7jEEyYiCjk&feature=youtu.be  
10 https://www.interpol.int/News-and-media/Videos/(video_id)/38492  
 
Page 15/23 
 
 


 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
 
Figure 9. Print screen of the press release published on the INTERPOL internal website  
7  CONCLUSION 
This report covered the SIIP Field Test and End-User Training held at the INTERPOL General Secretariat in 
November 2017. This event represented the second and final field test organised to run the SIIP system 
in  order  to  demonstrate  its  performance  and  capabilities  before  the  project’s  closure.  The  event  also 
provided  an  opportunity  to  familiarise  a  large  audience  of  stakeholders  (investigators,  intelligence 
analysts,  technical  staff  and  operational  personnel  carrying  out  investigations  in  the  field)  with  the 
system’s  operation  and  capabilities,  and  to  distribute  associate  training  material,  i.e.  End-User  Manual. 
The event achieved the objectives set in the DoW referred to in Box1, and responded to the participants’ 
expectations  based  on  the  positive  feedback  received  from  the  consortium  partners  and  the  other 
attendees. 
After close interaction and validation of SIIP system by dozens of LEAs from all over the world during the 
proof of concept and the two field test events, it appears that there is significant demand and need for 
SIIP system among LEAs as it may expedite significantly the police work and assist in delivering a much 
more efficient investigatory process in the area of voice recognition, supplemented by the human factor 
as highlighted throughout the project. The role of advanced speaker identification in tackling global crime 
is constantly increasing and SIIP provided a unique platform for testing and deployment of cutting-edge 
technologies for potential use  by law  enforcement  around the world. Furthermore, the results derived 
from  the  SIIP  assessment  and  validation  actions  will  feed  into  the  recommendations  regarding  the 
extensibility of the SIIP tool to the security field.  
 
Page 16/23 
 
 

 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
ANNEXES11  
ANNEX 1: Group photo  
 
 
                                                           
11 Double click on the annexes to open the full PDF file 
 
Page 17/23 
 
 


 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
ANNEX 2: Event agenda 
 
 
 
 
 
Page 18/23 
 
 


 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
ANNEX 3: Template invitation letter 
 
 
 
Page 19/23 
 
 


 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
ANNEX 4: SIIP updated factsheet  
A)  English version 
 
 
 
Page 20/23 
 
 


 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
B)  French version 
 
 
 
 
Page 21/23 
 
 


 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
C)  Spanish version 
 
 
 
 
Page 22/23 
 
 


 
Deliverable D9.4: Field Testing and End-User Training Final Report 
 
D)  Arabic version 
 
 
 
Page 23/23