Making	  Web	  Search	  More	  	  User-­‐Centric	  State	  of	  Play	  and	  Way	  Ahead	  A	  Yandex	  Overview	  1997	  Yandex.ru	  was	  launched	  №5	  Search	  engine	  in	  the	  world	  *	  (#	  of	  queries)	  180	  mln	  Search	  Queries	  a	  Day	  *	  Source:	  Comscore	  2009	  Oﬃces	  > Moscow	  	  > 6	  Oﬃces	  in	  Russia	  > 3	  Oﬃces	  in	  Ukraine	  > Istanbul	  (Turkey)	  > Zurich	  (Switzerland)	  > Palo	  Alto	  (CA,	  USA)	  Variety	  of	  Markets	  Source:	  Wikipedia	  16	  countries	  77	  regions	  in	  Russia	  Outline	  of	  the	  talk	  > Challenges	  in	  User-­‐Centric	  (personalized)	  Search	  > Long	  term	  (user-­‐based)	  Personaliza[on	  > Search	  Topic	  Preferences	  > Demography	  > Foreign	  language	  knowledge	  > Short	  term	  (session-­‐based)	  Personaliza[on	  > Query	  Comple[on	  > Session-­‐based	  ranking	  > Yandex	  and	  IR	  Research	  Community	  User-­‐Centric	  Search	  Challenges	  Challenges	  of	  User-­‐Centric	  Search	  > Personalized	  interface	  and	  user	  feedback	  > Evalua[on	  and	  target	  func[on	  > Over-­‐op[miza[on	  vs.	  acceptance	  test	  > Mul[ple	  incarna[ons	  of	  a	  user	  > Real-­‐[me	  Infrastructure	  User!	  Be	  aware!	  
These	  results	  are	  personalized!	  
FOR	  YOU!	  User	  think	  > Dear	  Yandex	  (Google/Bing/Baidu/Ask)!	  You	  (always)	  have	  a	  very	  wrong	  assump[on	  about	  who	  I	  am	  > I	  am	  complicated,	  you	  know	  > I	  want	  the	  best	  possible,	  universal	  answers,	  not	  worse	  that	  the	  ones	  that	  my	  neighbors,	  friends	  and	  wife	  get	  > And	  you	  are	  too	  s[cky!	  User	  Interface	  and	  feedback	  > Users	  	  > are	  not	  happy	  when	  they	  know	  that	  their	  results	  are	  personalized	  > are	  “happy”	  ( judging	  by	  click	  metrics)	  when	  the	  results	  are	  personalized	  and	  they	  don’t	  “care”	  about	  it	  > Hard	  to	  convey	  a	  message	  in	  a	  consumable	  and	  understandable	  way	  that	  > the	  personaliza[on	  occurred	  > the	  way	  it	  occurred	  > Hard	  to	  get	  a	  explicit	  feedback	  on	  the	  successful/
unsuccessful	  personaliza[on	  Evalua[on	  and	  Target	  Func[on	  > Cranﬁeld	  approach	  doesn’t	  work	  > all	  judgments	  must	  be	  collected	  in	  a	  user	  context	  > We	  have	  to	  rely	  on	  user	  metrics	  > TDI	  is	  promising	  but	  not	  yet	  well	  studied	  > Target	  func[on	  is	  not	  well	  deﬁned	  > could	  be	  the	  “last	  sa[sﬁed	  click”	  posi[on	  Over-­‐op[miza[on	  vs.	  acceptance	  test	  > As	  a	  result	  of	  the	  user-­‐behavior	  centric	  approach	  > Strong	  correla[on	  of	  the	  ranking	  func[on	  with	  click	  features	  > Acceptance	  test	  tools	  can	  be	  easily	  “broken”	  > We	  have	  to	  treat	  click	  features	  in	  a	  smart	  way	  > Or	  even	  avoid	  them	  completely	  Mul[ple	  incarna[ons	  of	  a	  user	  > A	  user	  have	  several	  “incarna[ons”	  > I	  am	  at	  work	  > I	  am	  at	  the	  cinema	  (or	  movie	  theatre)	  > I	  am	  at	  home	  > Each	  of	  them	  requires	  diﬀerent	  rankings	  > One	  way	  is	  to	  deﬁne	  these	  environmental	  seings	  > What	  else?	  Real	  Time	  Infrastructure	  > Real	  [me	  session-­‐based	  algorithms	  > are	  challenging	  > require	  support	  from	  appropriate	  infrastructure	  > Typical	  large	  web-­‐search	  systems	  > highly	  heterogenic	  > highly	  distributed	  > Yandex	  “short	  history”	  data	  delivery	  > for	  7	  seconds	  we	  can	  collect	  “short	  history”	  context	  for	  95%	  of	  queries	  Long	  Term	  Topic	  Preferences	  Yandex	  Technical	  Report	  Long	  Term	  Topic	  Preferences	  > Con[nuously	  build	  user	  language	  models	  > by	  analyzing	  clicks	  and	  skips	  > About	  20	  User	  Related	  Features,	  based	  on	  > Preferences	  to	  speciﬁc	  hosts	  > LMs	  of	  clicked/skipped	  [tles/snippets	  > LMs	  of	  previous	  queries	  > User-­‐speciﬁc	  features:	  e.g.	  Click	  Intensity	  > Op[mize	  for	  the	  “last	  sa[sﬁed”	  click	  posi[ons	  Foreign	  Language	  Knowledge	  Krokhalev,	  Yandex,	  CIKM’2011	  Foreign	  Language	  Knowledge	  La[n	  15%	  Cyrillic	  85%	  Foreign	  Language	  Knowledge	  When	  users	  don't	  expect	  foreign	  results	  >	  “nokia”	  (nokia.ru	  is	  berer)	  >	  “facebook”	  (facebook	  has	  Russian	  intro	  page)	  >	  “radio	  c”	  (Russian,	  Brasil	  or	  Hungarian?)	  “American	  pie	  2”,	  “volkswagen	  tuareg”,	  “world	  of	  tanks”,	  “harry	  porer”	  and	  many	  more	  ...	  Foreign	  Language	  Knowledge	  > User	  classiﬁca[on	  by	  foreign	  language	  knowledge	  > 80.0%:	  users	  with	  undeﬁned	  language	  preferences	  > 12.5%:	  users	  with	  who	  never	  read/click	  English	  pages	  (“Anglophobes”)	  > 	  	  7.5%:	  users	  who	  do	  not	  mind	  English	  pages	  (“Anglophiles”)	  > The	  results	  can	  be	  adjusted	  accordingly	  	  > maximize	  for	  diversity-­‐aware	  measure	  (e.g.	  ERR-­‐IA),	  or	  > downgrade	  English	  pages,	  or	  > maximize	  for	  ERR	  without	  any	  language	  adjustments	  Foreign	  Language	  Knowledge	  >	  Independent	  ranking	  for	  “Anglophiles”	  >	  Abandonment	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  -­‐1,9%	  >	  CTR	  of	  1,2,3	  posi[ons	  	  	  	  	  	  	  	  	  	  +2,1%	  >	  CTR	  of	  non-­‐Russian	  results	  	  	  +7%	  	  Demography	  Kharitonov,	  Yandex,	  CIKM’2012,	  SIGIR’2012	  Demography-­‐aware	  ranking	  	  > Our	  goal	  is	  to	  op[mize	  for	  the	  posi[on	  of	  the	  “last	  sa[sﬁed”	  click	  > Deﬁne	  user	  demography	  vector	  (UDV)	  as	  a	  list	  of	  values	  for	  his/her	  probability	  to	  belong	  to	  a	  speciﬁc	  > gender	  > age	  group	  > income	  class	  > Where	  UDV	  itself	  is	  obtained	  from	  > training	  set	  of	  users	  explicitly	  self-­‐iden[ﬁed	  > lots	  of	  features	  inside	  (proprietary)	  classiﬁca[on	  engine	  (Crypta)	  > Adjust	  Dynamic	  Bayesian	  Network	  Model	  (Chapelle.	  et.	  al,	  2009)	  > Predict	  click	  and	  sa[sfac[on	  probabili[es	  by	  using	  UDV	  via	  > Training	  separate	  logis[c	  regression	  func[ons	  to	  es[mate	  each	  variable	  > MRR	  improvement	  (%)	  for	  the	  “last	  sa[sﬁed”	  click,	  for	  queries	  with	  diﬀerent	  level	  of	  click	  entropy:	  Session-­‐based	  Query	  Comple[on	  Yandex	  Proprietary,	  patent	  pending	  [harry	  porer]	  [haskell]	  Session-­‐based	  Query	  Comple[on	  > Lightweight	  approach	  > 	  Previous	  query	  supplied	  via	  HTTP	  Referrer	  ﬁeld	  > Candidate	  sugges[ons	  collected	  through	  3	  previous	  months	  > Find	  frequent	  pairs	  among	  candidates	  > Integrate	  these	  “rules”	  into	  sugges[ons	  ranking	  mechanism	  > It	  took	  one	  week	  from	  the	  idea	  to	  the	  produc[on	  Session-­‐based	  Reranking	  single	  previous	  query	  Kustarev,	  Yandex,	  WWW’2012	  Session-­‐based	  Ranking	  > Throw	  away	  unconnected	  pairs	  of	  consecu[ve	  queries	  > based	  on	  classiﬁer	  telling	  if	  two	  queries	  have	  the	  same	  informa[on	  need	  > Compute	  features	  based	  on	  the	  previous	  query	  q0	  > User	  behavior	  > Text	  relevance	  > Query	  relatedness	  > Rerank	  and	  improve	  target	  click	  metrics	  > mean	  click	  posi[on	  MCP	  > mean	  ﬁrst	  click	  posi[on	  FCP	  > mean	  reciprocal	  rank	  of	  clicks	  MRR.	  	  Conclusion	  Yandex	  and	  IR	  Research	  Community	  29	  Challenges	  organized	  by	  Yandex	  > Previous	  Relevance	  PredicIon	  Challenge:	  	  > A	  large	  piece	  of	  anonymized	  click	  data,	  and…	  > A	  set	  of	  query-­‐URL	  pairs	  with	  relevance	  labels	  > Predict	  relevance	  labels	  for	  a	  test	  set	  > Submit	  at	  hJp://imat-­‐relpred.yandex.ru	  > 500	  teams	  registered	  /	  100	  par[cipated	  > Competed	  from	  22	  Oct	  to	  22	  Dec	  2011	  > 1400	  submissions	  > Best	  solu[ons	  presented	  at	  Web	  Search	  Click	  Data	  workshop	  at	  WSDM	  2012	  Challenges	  organized	  by	  Yandex	  > Next	  Search	  AcIon	  PredicIon	  Challenge:	  	  > A	  large	  piece	  of	  anonymized	  click	  data,	  including…	  > User	  IDs	  (so,	  please,	  personalize)	  > Predict	  next	  search	  ac[on	  in	  a	  session:	  > Query,	  Click,	  EndOfSession	  or	  SearchEngineSwitch	  > Will	  be	  a	  part	  of	  Web	  Search	  Click	  Data	  workshop	  at	  WSDM	  2013	  > Dates:	  15	  October	  –	  15	  December,	  or	  earlier…	  Moscow,	  24-­‐27	  March	  2013	  ECIR	  2013	  Schedule	  Workshop/tutorial	  submission:	  16	  September	  Abstracts	  submission:	  1	  October	  	  Paper	  submission:	  8	  October	  Posters/Demo	  submission:	  22	  October	  24.03	  Sun	  25.03	  Mon	  26.03	  Tue	  27.03	  Wed	  Workshops	  &	  Tutorials	  Day	  1	  Day	  2	  	  Day	  3	  Recep[on	  Posters	  &	  recep[on	  Conference	  banquet	  	  Industry	  day	  See	  you	  in	  Moscow!	  

hrp://ecir2013.org	  iseg@yandex-­‐team.ru	  See	  	  you	  in	  Moscow	  at	  ECIR	  2013	  organized	  by	  Yandex	  and	  HSE