I Backer-familien var kunst og kultur en sentral del av oppdragelsen. Harriet var sin yngre søster Agathes reisefølge til utlandet for å studere piano, noe som ga mulighet til å se kunstmuseer og kunsthistoriens mestere i ung alder. Harriet ble en betydelig bildekunstner, og søsteren Agathe Backer Grøndahl en betydelig komponist og pianist.