Milly Bergh var datter av admiral og første direktør for klassifiseringsselskapet Det Norske Veritas, Nils Ihlen (1824–1905) og dyrevernforkjemperen Julie Fredrikke Ihlen f. Nicolaysen (1840–1922). Hun ble 25. juni 1881 gift med lege og sanitetskaptein Carl Thaulow (1851–1915), bror av kunstmaleren Frits Thaulow. Ekteskapet ble oppløst 4. april 1891. Hun ble annen gang gift 14. mai 1891 med skuespilleren Haakon Ludvig Bergh (1865–1924). Ekteskapet ble oppløst 30. mai 1911. Datteren Julie Anna Johanne Bergh (1890–1962) ble gift med skuespiller Hans Bille.