Lilly Bergmann var datter av grosserer Hans Brynildsen Thomsen og Maria Theresia Jensen. Hun ble i 1906 gift med skuespiller, regissør og teatersjef Karl Bergmann (1882–1964). Ekteskapet ble oppløst.