Lilly Grimsgaard var datter av murer Anton Ludvig Andersen og Anette Marie Hansen, som ikke var gift ved datterens fødsel. Hun var en tid gift med operasanger Ørnulf Grimsgaard (1888–1950), og deres datter var danserinnen og pedagogen Vera Grimsgaard Christensen (1912–1980). Hun gikk også under navnene og .