03/03/15	  Lifelog	  Task	  at	  NTCIR-­‐12	  Cathal	  Gurrin,	  Rami	  Albatal	  –	  DCU	  Hideo	  Joho	  –	  U	  Tsukuba	  Frank	  Hopfgartner	  –	  U.	  Glasgow	  Lifelogging:	  Externalising	  life	  experience	  using	  sensors	  and	  soPware	  	  	  	  This	  task:	  To	  evaluate	  diﬀerent	  methods	  of	  retrieval	  and	  access.	  

1	  03/03/15	  Lifelogging	  Generates	  Massive	  MulTmodal	  Data	  Archives	  Mul$modal	  Data	  Collec$on	  	  Images	  from	  wearable	  cameras	  	  SemanTc	  LocaTons	  	  AcTviTes	  	  Other	  Sensor	  outputs	  2	  03/03/15	  Lifelog	  Pilot	  Task	  • A	  task	  designed	  to	  encourage	  research	  advances	  in	  organising	  and	  retrieving	  from	  lifelog	  data:	  – Huge	  personal	  data	  archives	  with	  a	  signiﬁcant	  semanTc	  gap	  between	  the	  user	  and	  data	  • Query	  dependent	  unit	  of	  retrieval	  • Huge	  mulTdisciplinary	  potenTal	  • A	  challenging	  area	  with	  many	  diverse	  types	  of	  informaTon	  need	  – Hence	  we	  employ	  two	  tasks	  in	  this	  pilot	  year	  Two	  Tasks	  LSAT	  –	  Lifelog	  SemanTc	  Access	  Task	  	  LIT	  –	  Lifelog	  Insights	  Task	  3	  03/03/15	  LSAT	  (Task	  1)	  	  Lifelog	  SemanTc	  Access	  Task

• Known-­‐item	  task:	  – Models	  the	  RETRIEVAL	  need	  from	  lifelogs	  – Retrieve	  N	  segments	  that	  match	  informaTon	  need	  • InteracTve	  or	  AutomaTc	  parTcipaTon	  • Interac$ve:	  Time	  limit	  for	  fair	  and	  comparaTve	  evaluaTon	  in	  an	  interacTve	  system	  with	  users	  • Automa$c:	  Fully-­‐automaTc	  retrieval	  system.	  
Automated	  query	  processing	  LIT	  (Task	  2)	  Lifelog	  Insight	  Task	  • Models	  the	  need	  for	  REFLECTION	  over	  lifelog	  data	  • Exploratory	  task,	  the	  aim	  is	  to:	  – encourage	  broad	  parTcipaTon	  – novel	  methods	  to	  visualise	  and	  explore	  lifelogs	  • Same	  data	  as	  LSAT	  task	  • Presented	  via	  demo/poster.	  

4	  03/03/15	  LIT	  (Example)	  LIT	  (Example)	  5	  03/03/15	  LIT	  (Example)	  Dataset	  • Data	  from	  a	  number	  of	  lifeloggers	  for	  two	  weeks	  each	  (About	  100,000	  images)	  • MulTmodal	  dataset	  with	  informaTon	  needs	  – Per	  Day	  /	  Per	  Lifelogger	  • 1,500	  images	  from	  chest-­‐mounted	  wearable	  cameras	  (5MP,	  136	  degree)	  	  • SemanTc	  enrichment	  from	  wearable	  sensors:	  locaTon,	  acTvity,	  temperature,	  others…	  	  • Image	  Features:	  output	  of	  1,000	  concept	  Caﬀe	  classiﬁer,	  low-­‐level	  image	  features	  – Data	  processed	  pre-­‐release	  (removal	  of	  personal	  content;	  face	  blurring,	  translaTon	  of	  concepts)	  • Detailed	  user	  queries	  and	  judgments	  generated	  by	  the	  lifelogging	  data	  gatherers	  – Queries	  for	  interesTng	  known-­‐item	  events	  • Data	  for	  download	  from	  DCU	  –	  50GB	  download.	  

6	  03/03/15	  Sample	  CAFFE	  outputs	  Important	  Dates	  April	  2015:	  DraP	  task	  guideline	  released	  June	  2015:	  ﬁnal	  task	  guideline	  released	  June	  2015:	  Release	  of	  the	  training	  and	  test	  dataset	  and	  the	  topics	  for	  automaTc	  LSAT	  task	  September	  2015:	  Topics	  for	  interacTve	  LSAT	  task	  released	  November	  2015:	  Results	  submission	  due	  	  December	  2015:	  EvaluaTon	  results	  returned	  February	  2016:	  Paper	  submission	  due	  April	  2016:	  Camera-­‐ready	  submission	  due	  June	  2016:	  NTCIR-­‐12	  Conference	  7