An	  End-­‐to-­‐End	  Solu,on	  for	  Archiving,	  Monitoring,	  Retrieval,	  and	  Post-­‐Processing	  Archive	  Files	  for	  SOFIA	  Lan	  Lin1,	  Li	  Sun1,	  Elizabeth	  Moore1,	  Fran	  Nelbach	  Jr.	  2	  and	  Ralph	  Shuping3	  1Universi(es	  Space	  Research	  Associa(on	  NASA/Ames	  Research	  Center,	  MS	  211-­‐3	  Moﬀe>	  Field,	  CA	  94035,	  	  USA	  2Nelbach	  Systems	  Mountain	  View,	  	  CA	  94035,	  	  USA	  3Space	  Science	  Ins(tute	  4750	  walnut	  St,	  	  Boulder,	  CO	  80301,	  	  USA	  Email: llin@sofia.usra.edu

The	  SOFIA	  Mission	  	  Archive	  Manager	  Processing	  The	  Stratospheric	  Observatory	  for	  Infrared	  Astronomy	  (SOFIA)	  is	  an	  airborne	  astronomical	  observatory	  comprised	  of	  a	  2.5	  meter	  infrared	  telescope	  mounted	  in	  the	  aX	  sec(on	  of	  a	  Boeing	  747SP	  aircraX	  that	  will	   ﬂy	   at	   opera(onal	   al(tudes	   between	   37,000	   (11.3	   km)	   and	   45,000	   feet	   (13.7	   km),	   above	   99%	   of	  atmospheric	  water	  vapor.	  The	  telescope	  collects	  radia(on	  in	  the	  wavelength	  from	  0.3	  μm	  to	  1.6	  mm.	  
A	  range	  of	  facility	  instruments	  will	  be	  used	  with	  the	  SOFIA	  to	  collect	  data.	  

The	  Data	  The	   Mission	   Control	   and	   Communica(on	   System	   (MCCS)	   consists	   of	   the	   Telescope	   Assembly	  Subsystem	  Proxy	  (TA),	  Flight	  Management	  Subsystem,	  Water	  Vapor	  Monitor	  Proxy,	  Cavity	  Door	  Drive	  Systems,	   mul(ple	   imagers	   and	   other	   subsystems.	   During	   each	   mission,	   the	   MCCS	   generates	   a	   large	  amount	  of	  house	  keeping	  data	  at	  various	  frequencies	  as	  high	  as	  50	  Hz	  into	  local	  disks.	  The	  TA	  Tracker	  Subsystem	  alone	  logs	  more	  than	  2500	  data	  items	  at	  20	  HZ	  each,	  crea(ng	  400	  kilobytes	  of	  data	  each	  second.	  It	  is	  impera(ve	  to	  archive	  the	  housekeeping	  data	  from	  the	  observatory	  subsystems	  post-­‐ﬂight	  in	   order	   to	   assess	   observatory	   performance	   and	   to	   support	   observatory	   troubleshoo(ng	   and	  improvements.	   In	   addi(on,	   access	   to	   the	   data	   must	   be	   straighlorward	   so	   that	   observatory	   staﬀ	   can	  	  conduct	  data	  analysis	  tasks	  quickly	  and	  easily.	  

The	  Challenge	  The	  MCCS	  subsystems	  log	  data	  as	  fast	  as	  the	  data	  is	  generated	  by	  wri(ng	  archive	  ﬁles	  to	  the	  local	  disks	  for	   each	   subsystem.	   	   In	   addi(on	   to	   suppor(ng	   high	   speed	   logging,	   the	   MCCS	   must	   also	   guarantee	  minimal	  data	  loss	  if	  the	  local	  disk	  fails	  during	  the	  ﬂight.	  Meanwhile,	  users	  must	  be	  able	  to	  access	  the	  saved	  data	  from	  any	  worksta(on	  on	  the	  aircraX.	  At	  the	  end	  of	  the	  ﬂight,	  data	  must	  be	  unloaded	  from	  the	  aircraX	  to	  the	  Data	  Center	  while	  the	  worksta(ons	  that	  the	  subsystems	  run	  on	  remain	  on	  the	  plane.	  	  It	  is	  cri(cal	  that	  data	  logging	  does	  not	  compete	  with	  the	  bandwidth	  shared	  by	  command	  transport	  and	  processing	  between	  the	  users	  and	  the	  TA	  in	  order	  to	  point	  the	  telescope	  at	  the	  right	  target	  at	  the	  right	  (me:	   The	   round	   trip	   command/response	   (me	   on	   the	   aircraX	   must	   be	   less	   than	   20	   milliseconds.	  

The	  Archive	  Manager	  carries	  out	  various	  tasks	  according	  to	  what	  the	  triggers	  are:	  •	  Receive	  UI	  command	  to	  ini(ate	  archiving	  	  •	  Determine	  set	  of	  ac(ve	  subsystem	  •	  For	  every	  subsystem	  •	  No(fy	  subsystem	  to	  start	  archiving	  •	  Subscribe	  to	  subsystem’s	  archive	  status	  •	  Receive	  UI	  commands	  to	  conﬁgure	  archiving,	  pass	  along	  commands	  to	  subsystem	  •	  Start,	  pause,	  resume,	  stop,	  change	  sample	  rate	  to	  every	  nth	  sample	  •	  Receive	  archive	  ﬁle	  complete	  status	  from	  subsystem	  	  •	  Move	  archive	  ﬁles	  to	  RAID	  •	  Write	  Data	  Manifest	  entry	  •	  Receive	  UI	  command	  to	  ini(ate	  end-­‐of-­‐ﬂight	  processing	  •	  For	  every	  subsystem	  •	  No(fy	  subsystem	  to	  stop	  archiving	  •	  Receive	  archive	  ﬁle	  complete	  status	  from	  the	  subsystem	  •	  Move	  archive	  ﬁles	  to	  RAID	  •	  Write	  Data	  Manifest	  entry	  •	  No(fy	  UI	  Data	  Manifest	  entries	  complete	  Archive	  Manager	  in	  Ac,on	  Subsystems	  	   Status	  that	  Generate	   	  	  	  	  	  	  On	  	  Archive	  Data	   	  	  	  	  	  	  Oﬀ	  Current	  Archive	  	  File	  Size	  Total	  Bytes	  Archived	  	  Since	  the	  	  Subsystem	  Starts	  Total	  Bytes	  	  Archived	  For	  	  All	  Subsystems	  	  Current	  Archive	  	  File	  Name	  Archive	  Files	  FITS	  Files	  Ancillary	  Files	  Data	  Manifest	  The	  Solu,on	  1.Use	  portable	  RAID	  to	  store	  a	  backup	  copy	  of	  each	  archived	  ﬁle	  2.Create	  an	  Archive	  Manager	  as	  an	  integrated	  tool	  to	  perform	  four	  major	  func(ons:	  	  1)	  Control	  the	  archiving	  process	  	  2)	  Monitor	  the	  archiving	  status	  	  3)	  Make	  backups	  at	  a	  separate	  loca(on	  using	  RAID	  	  4)	  Manage	  a	  data	  manifest	  (DM)	  for	  end	  of	  ﬂight	  processing	  and	  future	  data	  retrieval	  MCCS	  	  RAID	  How	  It	  Works	  The	  MCCS	  RAID	  serves	  as	  a	  portable	  storage	  that	  can	  be	  moved	  from	  the	  plane	  into	  the	  Data	  Center.	  	  It	  also	  makes	  all	  archived	  data	  available	  for	  in-­‐ﬂight	  data	  processing.	  The	  Archive	  Manager	  must	  carry	  out	  the	   above	   four	   func(ons	   without	   impeding	   the	   response	   (me	   of	   the	   system	   as	   a	   whole.	   The	  performance	   requirement	   is	   achieved	   by	   the	   Archive	   Manager	   using	   a	   backup	   design	   that	   moves	   large	  blocks	  of	  data	  onto	  the	  MCCS	  RAID	  at	  a	  lower	  frequency	  instead	  of	  small	  chunks	  at	  high	  frequency.	  In	  addi(on,	   the	   Archive	   Manager	   itself	   serves	   as	   a	   subsystem	   data	   source	   that	   distributes	   the	   overall	  archive	  informa(on	  throughout	  the	  system.	  This	  ensures	  that	  the	  mission	  director,	  telescope	  operator,	  and	   observers	   all	   have	   the	   same	   mission	   view	   during	   the	   ﬂight.	   The	   Archive	   Manager	   was	  implemented	   using	   C++,	   CORBA	   and	   Java	   as	   part	   of	   the	   now-­‐re(red	   Mission	   Control	   Subsystem	   for	  SOFIA.	   Nonetheless,	   it	   should	   be	   possible	   to	   deploy	   the	   Archive	   Manager	   into	   the	   MCCS	   soXware	  environment	   with	   some	   updates.	   The	   Archive	   Manager	   automa(cally	   prepares	   the	   housekeeping	   data	  ﬁles	  for	  inges(on	  into	  the	  SOFIA	  Data	  Cycle	  System	  (DCS)	  Archive.	  

A?er	  Landing	  In	  Air	  Land	  End	  of	  Flight	  Data	  Inges,on	  Start/Stop	  Archiving	  All	  Subsystems	  Start/Stop	  Archiving	  Individual	  Subsystem	  DCS	  Data	  	  Manifest	  Control	  Archive	  Storage	  Loca(on	  On	  RAID	  in	  Flight	  • Transport	  MCCS	  RAID	  to	  the	  Data	  Center	  • Observatory	  staﬀ	  perform	  data	  inges(on	  • Archive	  Server	  ingest	  data	  according	  to	  DM	  • Data	  reduc(ons	  performed	  • Update	  DM	  with	  inges(on	  status	  of	  each	  ﬁle	  • Produce	  a	  hash	  for	  data	  integrity	  check	  • Key	  word	  parsed	  and	  stored	  Data	  Staging	  Post	  Flight	  Processing	  Data	  Retrieval	  Example	  Plot	  from	  Archive	  Files	  At	  the	  end	  of	  a	  ﬂight,	  the	  archive	  data	  ﬁles	  are	  transferred	  oﬀ	  the	  aircraX	  and	  ingested	  into	  the	  DCS	  archive	  database	  where	  they	  are	  made	  available	  to	  SOFIA	  Science	  and	  Mission	  Opera(ons	  Staﬀ	  via	  a	  simple	   web	   page	   interface.	   Once	   downloaded	   to	   the	   users	   desktop,	   the	   ﬁles	   can	   be	   opened	   and	  analyzed	  using	  the	  Archive	  Post-­‐Processing	  Tool	  which	  provides	  a	  number	  of	  data	  analysis	  func(ons.	  
The	  Archive	  Manager,	  DCS	  Archive,	  and	  Archive	  Post-­‐Processing	  Tool	  provide	  and	  integrated	  solu(on	  for	  capturing,	  archiving,	  retrieving,	  and	  analyzing	  the	  huge	  volumes	  of	  housekeeping	  data	  produced	  by	  	  the	  SOFIA	  observatory	  subsystems.	  

SOFIA	  Archive	  Management	  Block	  Diagram	  Archive	  Manager	  UI	  Data	  Manifest	  DCS	  MCCS	  	  RAID	  z	  Imagers	  FITS	  ﬁles	  Ancillary	  	  Files	  Subsystem	  Archive	  Files	  MCCS	  	  Local	  Disks	  MCCS	  In	  the	  	  Air	  Archive	  Drivers	  DCS	  RAID	  Retrieval	  Server	  Data	  •From	  the	  web,	  enter	  search	  criteria	  •Find	  ﬁles	  and	  request	  them	  •The	  Retrieval	  Server	  creates	  a	  compressed	  ﬁle,	  stores	  into	  a	  download	  site	  and	  no(ﬁes	  the	  user	  when	  data	  is	  ready	  •User	  downloads	  the	  data	  and	  its	  hash	  •Check	  the	  ﬁle	  integrity	  against	  its	  hash	  • From	  the	  web,	  download	  data	  • Use	  any	  one	  of	  the	  sets	  of	  the	  post-­‐processing	  tools	  to	  process	  data	  • This	  plot	  shows	  the	  rela(onship	  of	  Cavity	  Door	  posi(on	  and	  the	  Telescope	  eleva(on	  using	  the	  Archive	  Post-­‐Processing	  Tool	  .
(Data	  collected	  during	  a	  simulated	  mission)	  On	  the	  Ground	  Conclusion	  Individual	  So?ware	  Subsystem	  Archive	  Control	  Process	  •	  Subsystem	  comes	  up,	  opens	  archive	  ﬁle	  •	  Determine	  archiving	  state	  (on/oﬀ)	  and	  maximum	  ﬁle	  size	  from	  it’s	  conﬁgura(on	  ﬁle	  •	  Collect	  data	  and	  process	  commands	  •	  Write	  the	  new	  data	  into	  the	  archive	  ﬁle	  on	  local	  disk	  •	  Provide	  UI	  and	  Archive	  Manager	  with	  the	  archive	  status	  •	  Close	  the	  archive	  ﬁle	  when	  reach	  conﬁgured	  max	  size	  or	  received	  the	  stop	  command	  •	  No(fy	  the	  Archive	  Manager	  archive	  available,	  pass	  along	  ﬁle	  name	  and	  crea(on	  (me	  ADASS	  XIX,	  Astronomical	  Data	  Analysis	  SoXware	  and	  Systems,	  October	  4-­‐8,	  2009,	  Sapporo,	  Japan	  SOFIA	   presents	   a	   unique	   data	   logging	   and	   transfer	   problems	   due	   to	   the	   nature	   of	   the	   airborne	  observatory.	   	  Archive	  Manager,	  Data	  Manifest	  and	  the	  MCCS	  RAID	  work	  together	  to	  preserve	  data	  from	  the	  moment	  they	  are	  created	  in	  the	  air	  to	  the	  ﬁnal	  storage	  on	  the	  ground.	  The	  web-­‐based	  SOFIA	  Data	  Cycle	  System	  provides	  access	  to	  archived	  data	  for	  staﬀ	  and	  researchers,	  both	  in	  the	  Science	  and	  Mission	  	  Opera(ons	  Centers	  and	  remotely.