Ina Madsen var datter av skipsfører Jacob Edvard Didrik Madsen og Susanne Sofie Clausen, og søster av forfatteren Theodor Madsen. Hun ble gift med arkitekt Børge Rosenkilde (ca. 1869-1927). Hennes far døde før hennes dåp fant sted i Bergen.