Hun var datter av Oluf Martin Andersen (1826–1908) og Annette Fredrikke Sontum (1824–95). Faren var stadsingeniør og brannsjef i Kristiania. Hildur giftet seg aldri, men var søster til geografen Aksel Kristian Andersen Arstal (1855–1940).