Hun var datter av Halfdan Magnus Mustad, og gift med skipsreder Thomas Olsen. Som ung ville hun bli maler selv, og hun studerte ved Kunst og håndverkskolen og hos Per Krohg i Paris. Det var likevel som kunstsamler at hun ble kjent, og sammen eide Henriette og Thomas Olsen en av verdens største samlinger av Edvard Munchs kunst.