Elise Sem var datter av Gabriel Sem (1824–1900), som var sorenskriver i Mandal. Hun fortalte selv i en artikkel som ble publisert i 1932, at hun i barndommen hadde fulgt med sin far på reiser i embets medfør. Da hun var ferdig med middelskolen i Arendal, arbeidet hun åtte år som kontorist ved sorenskriverembetet der hennes far var sorenskriver. Dette inspirerte henne til å dra til Kristiania for å studere jus selv.