Elsa Randulff Dybwad var datter av skipsfører Hans Severin Larsen og Janna Randulff. Hun ble første gang gift 23. april 1891 i Bergen med skuespiller Michael Krohn (1867-1918). Dette ekteskapet ble oppløst i 1898. Hun ble 11. november 1899 gift i Kristiania med bokhandler Olaf Christian Dybwad (1868-1942), sønn av bokhandleren Jacob Dybwad (1823–1899), og bror av arkitekten Peter Dybwad og advokat, forfatter og visedikter Vilhelm Dybwad.