Part	  III:	  Crowdsourcing	  for	  analysis	  dataﬁca)on
data	  collec)on/	  computeriza)on	  1	  data	  cleansing/	  cura)on

analysismodeling/	  visualiza)onevalua)on/	  interpreta)on

KYOTO UNIVERSITYCrowdsourcing	  for	  analysis:	  Predic)ve	  and	  descrip)ve	  analysis	  § Two	  types	  of	  analysis	  – Predic've	  analysis	  • GOAL:	  Building	  models	  to	  make	  predic)ons	  about	  future	  • OUTPUT:	  Predic)ve	  models	  y=f(x)
	  – Descrip've	  analysis	  • GOAL:	  Summarizing	  and	  making	  sense	  of	  data	  	  • OUTPUT:	  Findings	  	  2	  KYOTO UNIVERSITYCrowdsourcing	  for	  predic)ve	  analysis	  Modeling	  requires	  crowds	  of	  data	  scien)sts	  y=f(x)

§ Predic)ve	  modeling	  is	  actually	  labor-­‐intensive	  – No	  free	  lunch	  theorem:	  there	  is	  no	  universal	  good	  model	  – Performance	  improvement	  is	  oMen	  brought	  by	  careful	  	  	  	  model	  selec)on	  	  	  	  +	  	  	  	  feature	  engineering	  § Broad	  explora)on	  of	  models	  is	  hard	  for	  a	  single	  data	  scien'st	  § Crowds	  of	  data	  scien'sts	  can	  examine	  a	  large	  number	  of	  models	  model

model

model

model

model
model model
model model	  3	  model

model

model

model

model
model model
model model

KYOTO UNIVERSITYPredic)ve	  modeling	  compe))on:	  PlaZorm	  for	  leveraging	  crowds	  of	  data	  scien)sts	  § Predic)ve	  modeling	  compe))on	  – E.g,	  	  • Over	  150	  compe))ons	  have	  been	  hosted	  • Over	  140K	  data	  scien)sts	  have	  been	  registered	  • KDD	  Cup	  have	  been	  hosted	  from	  2012	  – Par)cipants	  build	  models	  and	  compete	  for	  monetary	  rewards	  Winner	  gets	  the	  reward	  4	  KYOTO UNIVERSITYPredic)ve	  modeling	  compe))on	  protocol:	  Par)cipants	  explore	  model	  spaces	  to	  ﬁnd	  be`er	  one	  § Compe))on	  protocol:	  1. Training	  and	  test	  dataset	  are	  published	  2. Par)cipants	  submit	  predic)ons	  for	  test	  dataset	  3. Par)cipants	  get	  feedback	  via	  a	  live	  leader	  board	  ……	  (repeat	  step	  2	  and	  3)	  several	  weeks	  to	  months

4. Winner	  is	  determined	  by	  results	  on	  test	  data	  clientdata	  scien)sts

datasetpredic)on

y=f(x)

award	  5	  KYOTO UNIVERSITY

Wikipedia	  link	  predic)on	  challenge:	  Modeling	  compe))on	  experiment	  § We	  ran	  a	  compe))on	  on	  CrowdSolving	  (for	  one	  month)	  § Dataset:	  link	  predic)on	  among	  ar)cles	  of	  Wikipedia	  – Goal:	  given	  several	  link	  informa)on,	  	  predict	  the	  other	  (hidden)	  links	  • ~	  23,000	  ar)cles	  	  with	  links	  and	  page	  categories	  • warm	  start	  and	  cold	  start	  	  Total	  amount	  of	  prize:	  $1,000
Jimmy	  Wales	  6	  Wikimedia	  founda)on

San	  Francisco

KYOTO UNIVERSITYCompe))on	  results:	  	  Power	  of	  crowd	  data	  scien)sts	  defeats	  “professionals”	  § Crowd	  of	  data	  scien)sts	  achieved	  far	  be`er	  results	  than	  “professionals”	  in	  a	  short	  term	  Predic)ve	  Accuracy	  	  (AUC)– Overtook	  a	  professional	  baseline	  in	  4	  days	  1.0

20%	  performance	  
gain
P01
P02
P03
P04
P05
P06P07
P08
P09
P10
P11
P12
P13
P14
P15
P16
NLDRLM

0.8

AUCOur	  baseline 0.6
overtaken	  in	  4	  days
0.4
Aug 19	  7	  Aug 26

Sep 02

Sep 09Sep 16

Submission dateBaba,	  Nori,	  Saito,	  &	  Kashima.	  Crowdsourced	  Data	  Analy)cs:	  A	  Case	  Study	  KYOTO UNIVERSITYof	  Predic)ve	  Modeling	  Compe))on.	  DSAA	  2014.

Methods	  used	  by	  professionals	  and	  crowds:	  Crowd	  winners	  used	  simple	  heuris)c	  techniques	  § Professionals	  used	  a	  state-­‐of-­‐the-­‐art	  link	  predic)on	  method	  – Proposed	  in	  AAAI’12	  § Crowd	  winners	  used	  simple	  heuris)c	  techniques	  – 1st	  place:	  	  Random	  forest	  +	  heuris)c	  features	  	  – 2nd	  place:	  	  carefully	  designed	  link	  occurrence	  measure	  § Broad	  explora)on	  of	  various	  models	  is	  a	  key	  to	  win	  	  8	  KYOTO UNIVERSITY

Human-­‐machine	  hybrid	  predic)on:	  	  Machine	  learning	  further	  boosts	  performance	  § Combina)on	  of	  submi`ed	  models	  with	  machine	  learning	  	  – Overtook	  the	  best	  individual	  performance	  in	  6	  days	  – Achieved	  the	  best	  ﬁnal	  performance	  the	  best	  performance

1.0

AUC

0.8

Overtaken	  the	  winning	  model	  0.6in	  6	  days
0.4
Aug 19	  9	  Aug 26

Sep 02

Submission date

Sep 09Sep 16

P01
P02
P03
P04
P05
P06
P07
P08
P09
P10
P11
P12
P13
P14
P15
P16
NLDR
LM
Aggregated

KYOTO UNIVERSITYCrowdsourcing	  for	  descrip)ve	  analysis	  Crowds	  view	  data	  from	  various	  aspects	  § Not	  all	  analysis	  can	  be	  easily	  formalized	  as	  predic)on	  § Crowds	  are	  expected	  to	  provide	  ﬁndings	  from	  various	  aspects	  § CrowdSolving	  hosted	  a	  compe))on	  for	  descrip)ve	  analysis	  – Given:	  access	  log	  and	  purchase	  history	  in	  an	  e-­‐book	  store	  – Task:	  ﬁnd	  typical	  pa`erns	  in	  consumer	  behavior,	  	  and	  	  provide	  insights	  for	  business	  decision	  making	  client

datasetSubmit	  reports
award	  10	  KYOTO UNIVERSITY

Quality	  control	  for	  descrip)ve	  analysis:	  Peer-­‐reviewing	  § Predic)ve	  analysis:	  	  easy	  to	  evaluate	  models	  by	  predic)on	  performance	  § Descrip)ve	  analysis:	  hard	  to	  evaluate	  ﬁndings	  in	  an	  automa)c	  way	  § Peer-­‐reviewing	  is	  a	  possible	  approach	  – Used	  in	  MOOCs	  to	  evaluate	  a	  large	  number	  of	  student	  submissions	  reviewers	  (crowds)
report★★★★★	★★

quality★★★

	  11	  KYOTO UNIVERSITY

Quality	  control	  for	  peer-­‐reviewing:	  Introducing	  redundancy	  and	  es)ma)ng	  abili)es	  § No	  guarantee	  that	  crowds	  accurately	  evaluate	  submissions	  § Ra)ngs	  are	  given	  in	  structured	  format	  è	  quality	  control	  methods	  in	  dataﬁca)on	  can	  be	  applied	  	  (e.g.,	  latent	  class	  model)	  Es)mate	  reviewer	  abilityEs)mate	  author	  abilityauthor

reviewers	  (crowds)★★★★★	★★

quality★★★

unstructured

structured

Baba&Kashima.	  Sta)s)cal	  Quality	  Es)ma)on	  for	  General	  Crowdsourcing	  	  12	   Tasks.	  ACM	  SIGKDD,	  2013

KYOTO UNIVERSITYCollabora)ve	  predic)ve	  analysis:	  Mechanism	  design	  for	  collabora)on	  § Compe))on	  scheme	  makes	  par)cipants	  work	  individually	  – Knowledge	  and	  exper)se	  are	  not	  shared	  § Collabora)on	  should	  be	  encouraged	  for	  eﬃcient	  modeling	  – Mechanism	  design	  for	  collabora)on	  [Abernethy+,	  2011]	  • Submi`ed	  models	  are	  shared	  • Par)cipants	  receive	  payment	  according	  to	  performance	  improvement	  Abernethy&Frongillo.	  A	  Collabora)ve	  Mechanism	  for	  Crowdsourcing	  	  13	  Predic)on	  Problems.	  NIPS	  2011.	  

KYOTO UNIVERSITY

Collabora)ve	  descrip)ve	  analysis:	  PlaZorms	  for	  social	  data	  analysis	  (1)	  § 	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  [Viégas+,	  2007]	  – PlaZorm	  for	  data	  visualiza)on	  and	  discussion	  Visualiza)on

Commen)ng	  interface

Viégas	  et	  al.	  Manyeyes:	  a	  site	  for	  visualiza)on	  at	  internet	  scale.	  IEEE	  TVCG,	  	  14	   2007.	  

KYOTO UNIVERSITY

Collabora)ve	  descrip)ve	  analysis:	  PlaZorms	  for	  social	  data	  analysis	  (2)	  § PlaZorm	  with	  systema)c	  collabora)on	  scheme	  [Wille`+,	  2012]	  – Several	  subtasks	  are	  generated	  to	  involve	  the	  crowds	  • chart-­‐reading,	  annota)on,	  etc.	  

Visualiza)on

Chart-­‐reading	  subtask:	  Asking	  to	  enter	  chart	  labels

Annota)on	  subtask:	  Asking	  to	  highlight	  strong	  peaks

Wille`,	  Heer,	  &	  Agrawala.	  Strategies	  for	  Crowdsourcing	  Social	  Data	  	  15	  Analysis.	  CHI	  2012.	  

KYOTO UNIVERSITY

Part	  IV:	  Future	  direcBon	  	  16	  KYOTO UNIVERSITY

Future	  direc)on:	  	  For	  reliable	  and	  advanced	  crowd	  analy)cs	  system	  	  	  § Reliable	  crowdsourcing	  system	  – Addressing	  security	  and	  privacy	  issues	  § Closer	  corpora)on	  between	  machine	  and	  human	  – Human	  computa)on	  – Workﬂow	  control	  § Data	  science	  educa)on	  	  17	  KYOTO UNIVERSITY

Security	  and	  privacy	  issues:	  Concerns	  about	  disclosing	  sensi)ve	  informa)on	  § Task	  instances	  may	  contain	  sensi)ve	  or	  privacy	  informa)on	  – E.g.,	  Face	  images	  in	  image	  classiﬁca)on	  tasks,	  	  recording	  of	  business	  mee)ng	  in	  audio	  transcrip)on	  tasks	  § Can	  we	  apply	  the	  concept	  of	  Privacy	  preserving	  data	  mining	  (PPDM)	  to	  guard	  the	  security	  of	  task	  instances?	  
– Show	  task	  instances	  to	  workers	  while	  sensi)ve	  informa)on	  is	  preserved	  informa)on	  leakage

crowd	  workers	  18	  KYOTO UNIVERSITY

Privacy-­‐preserving	  crowdsourcing:	  Task	  conversion	  approach	  to	  hide	  task	  contexts	  § Task	  conversion:	  Convert	  task	  instances	  into	  diﬀerent	  forms	  to	  hide	  contexts	  in	  task	  instances	  – Example:	  Task	  clipping	  in	  face	  recogni)on	  tasks	  executable	  task	  with	  hidden	  contexts

clipping	  	  face	  recogni)on	  task

§ Balance	  between	  task	  error	  and	  informa)on	  leakage	  privacy	  leakage

trade-­‐oﬀ	  between	  privacy	  leakage	  and	  task	  error

task	  error
Kajino,	  Baba,	  &	  Kashima.	  Instance	  Privacy	  Preserving	  Crowdsourcing.	  	  19	   HCOMP	  2014.

KYOTO UNIVERSITY

Human	  computa)on:	  Combine	  machine	  power	  and	  human	  intellect	  § Human	  computa)on	  – Combine	  computa)on	  power	  and	  human	  intellect	  – Tackle	  problems	  that	  neither	  can	  solve	  alone	  § Freestyle	  chess	  tournament	  in	  2005	  – “Amateurs&laptops”	  beat	  “grandmaster&supercomputer”	  – Good	  coordina)on	  of	  	  human	  and	  machine	  is	  important	  amateurs&	  laptops

grandmaster&	  supercomputerh`p://www.ted.com/talks/	  20	   shyam_sankar_the_rise_of_human_computer_coopera)on	  KYOTO UNIVERSITY

Human	  computa)on	  for	  data	  analy)cs	  (1):	  Classiﬁca)on	  with	  crowd-­‐generated	  features	  § Problem	  that	  neither	  machines	  nor	  humans	  can	  solve	  alone	  – e.g.,	  visual	  recogni)on	  of	  wild	  birds	  • Diﬃcult	  for	  both	  non-­‐experts	  and	  computers	  § Good	  coordina)on	  of	  human	  and	  machine	  solve	  the	  problem	  – Non-­‐experts	  can	  extract	  several	  features	  (e.g.,	  color	  of	  neck)	  – Machines	  classify	  images	  using	  the	  extracted	  features
White	  neckh`p://en.wikipedia.org/wiki/Meadow_bun)ng	  21	  IT’S“MEADOWBUNTING”

Short	  beakBranson	  et	  al.	  Visual	  recogni)on	  with	  humans	  in	  the	  loop.	  ECCV	  2012.

KYOTO UNIVERSITY

Human	  computa)on	  for	  data	  analy)cs	  (2):	  Filtering	  and	  re-­‐ranking	  of	  samples	  by	  crowds	  § Humans	  accurately	  discover	  the	  desired	  images	  but	  the	  Majority	  vo)ng	  scalability	  is	  poor	  for	  ﬁnal	  è	  Combina)on	  of	  human	  and	  machine	  Want	  to	  ﬁnd	  the	  picture	  of	  the	  same	  building

Filtering	  by	  humandecision◎◯

Automa)c	  candidate	  genera)on×△

Yan	  et	  al.	  CrowdSearch:	  Exploi)ng	  Crowds	  for	  Accurate	  Real-­‐)me	  Image	  	  22	   Search	  on	  Mobile	  Phones.	  Mobisys	  2010.

KYOTO UNIVERSITY

Workﬂow	  control	  Modeling	  and	  control	  by	  Markov	  decision	  processes	  § Complex	  workﬂow	  in	  crowdsourcing	  – E.g.,	  Report	  submission	  -­‐>	  modiﬁca)on	  <-­‐>	  evalua)on	  • Is	  modiﬁca)on	  required?	  Does	  modiﬁca)on	  improve	  the	  quality?	  Is	  the	  quality	  evalua)on	  reliable?	  
§ Workﬂow	  control	  – TurKontrol:	  automated	  control	  by	  MDPs	  [Dai+,	  2011]	  – Turkoma)c:	  manual	  control	  by	  crowds	  [Kulkarni+,	  2011]	  originalmodiﬁca)onevalua)on
modiﬁedet	  al.	  Ar)ﬁcial	  Intelligence	  for	  Ar)ﬁcial	  Ar)ﬁcial	  Intelligence.	  AAAI	  2011	  KYOTO
UENIVERSITY	  23	   Dai	  Kulkarni	  et	  al.	  Turkoma)c:	  automa)c	  recursive	  task	  and	  workﬂow	  design	  for	  mechanical	  turk.	  CHI	  A	  2011.

Data	  science	  educa)on:	  “Educa)onal”	  data	  analysis	  compe))on	  plaZorm	  § Data	  science	  educa)on	  through	  compe))on-­‐style	  data	  analysis	  Not	  Classwork,	  Not	  with	  monetary	  rewards	  (e.g.	  Kaggle)	  § Eco-­‐system	  with	  data	  providers	  and	  learners	  data	  scien)st	  crowds

clientsy=f(x)
data

analysisanalysiscompanies	  	  /	  governmentscer)ﬁcate	  24	   h`p://universityo|igdata.net?lang=en

data	  science	  courses	  /	  corporate	  training	  programs
KYOTO UNIVERSITY

Summary	  Part	  I:	  Crowdsourcing	  for	  data	  analy)cs	  (Hisashi	  Kashima)	  Crowds	  for	  execu)ng	  the	  labor-­‐intensive	  data	  analysis	  process	  Part	  II:	  Crowdsourcing	  for	  dataﬁca)on	  (Satoshi	  Oyama)	  Gamiﬁca)on	  and	  introducing	  redundancy	  Part	  III:	  Crowdsourcing	  for	  analysis	  (Yukino	  Baba)	  Predic)ve	  modeling	  compe))ons	  and	  peer-­‐reviewing	  Part	  IV:	  Future	  direc)on	  (Yukino	  Baba)	  Security/privacy,	  human	  computa)on,	  and	  data	  science	  educa)on	  	  25	  KYOTO UNIVERSITY