NTCIR-­‐11	  Core	  Task:	  Spoken	  Query	  and	  Spoken	  Document	  Retrieval	  (SpokenQuery&Doc)	
Tomoyosi	  Akiba	  (Toyohashi	  University	  of	  Technology)	  Hiromitsu	  Nishizaki	  (Yamanashi	  University)	  Hiroaki	  Nanjo	  (Ryukoku	  University)	  Gareth	  Jones	  (Dublin	  City	  University)	

Focus	  of	  SpokenQuery&Doc	
• InformaNon	  Retrieval	  by	  using	  “spontaneously	  spoken	  query”	  targeNng	  “spoken	  documents”.	  
Mt.	  Fuji	

Search	  Engine	Mt.	  Fuji	  is	  the	  highest	  mountain	  in	  Japan.	  ..	

Overcome	  it	  by	  using	  Speech!	
I'm	  going	  to	  go	  climbing	  Mt.	  Fuji	  in	  next	  summer	  vacaNon.	  Well,	  I	  hear	  the	  accident	  um...	  I	  hear	  the	  news	  about	  the	  accident	  in	  the	  climbing.	  Well,	  someone	  has	  missed	  or	  someone	  lost	  one's	  way	  in	  the	  mountain.	  So	  I	  would	  like	  to	  know	  what	  should	  I	  prepare	  for	  climbing,	  what	  equipment,	  equipment	  is	  necessary.	  I	  would	  like	  to	  know	  what	  should	  I	  prepare	  when	  I	  go	  climbing.	

Example	  of	  Spontaneously	  Spoken	  Query	
今年の夏休み(summer	  vacaNon)に始めて山(mountain)に登山に行くことになったんですけれども。あのー登山は結構事故(accident-­‐1)があのーやはり夏(summer)になるとよくニュース(new)で聞きますし，ま誰々が行方不明(go	  missing)になったとか遭難(accident-­‐2)したとかそういう話が色々あると思うんですけれども。あのー山(mountain)に登る(climb)時にはどういった心構え(keep	  in	  mind)と言うか，あのー装備(equipment)こういう装備が必要だとかこういうものがあるといいよ，とかそういったあのー山登り(mountain	  climbing)に関しての，山(mountain)に登る(climb)時についての心構え(keep	  in	  mind)について知りたいです		• PROS:	  provides	  rich	  clues	  for	  retrieval.	  
• CONS:	  unclear,	  ambiguous,	  redundant,	  error-­‐prone	  	  Challenges	  in	  SpokenQuery&Doc	• How	  to	  get	  beneﬁt	  from	  spontaneously	  spoken	  queries?	  
– Make	  use	  of	  long	  queries.	  
– DisambiguaNon.	  
– Improve	  ASR	  for	  spontaneous	  speech.	  
– Development	  of	  speciﬁc	  techniques	  for	  such	  IR.	  

• Spoken	  document	  retrieval	  (conNnued)	  – Evaluate	  spoken	  term	  detecNon	  (STD)	  and	  spoken	  content	  retrieval	  (SCR)	  at	  the	  same	  Nme	  by	  using	  common	  (spoken)	  query	  topics.	  
– Text	  queries	  are	  also	  provided	  (as	  in	  SpokenDoc-­‐1	  and	  2.)	  Task	  Design	

SQ-­‐SCR	
Spoken	  query	

Spoken	  Content	  Retrieval	Relevant	  Segments	  (presentaNon	  slides)	

Spoken	  Documents	  (presentaNons	  at	  academic	  meeNng)	

Spoken	  Content	  Retrieval	

Spoken	  Term	  DetecNon	

DetecNon	  Results	

Spoken	  Terms	

SQ-­‐STD	

STD-­‐SCR	Why	  parNcipate	  in	  SpokenQuery&Doc	
• ParNcipants	  will	  be	  provided	  many	  resources	  for	  IR	  and	  spoken	  language	  processing	  research.	  
– Real	  recordings	  of	  spontaneously	  spoken	  queries.	  
– Real	  recordings	  of	  academic	  meeNng	  lectures.	  
– Their	  rich	  transcripNons.	  
• manual.	  
• automaNc	  (with	  various	  condiNons.)	  • alignment	  with	  presentaNon	  slides.	  

• IR	  and	  NLP	  researchers	  are	  also	  welcomed.	  

– Easy	  to	  apply	  your	  exisNng	  techniques	  to	  provided	  text	  transcripNons	  of	  speech.	  

• Web	  site	  will	  be	  open	  soon.	  

– hap://www.nlp.cs.tut.ac.jp/ntcir11/