Elise Sem var datter av sorenskriver og riksherold Gabriel Egidius Johan Henrik Sem (1824–1900) og Emma Nathalie Christensen (1843–1933).