Inga Houge var datter av presten Christian Severin Houge og Maria Theresia Bruun, og søster av skuespiller Inga Margrethe Houge, som i 1855 døde 16 og et halvt år gammel under fremførelse av et teaterstykke i Bergen. Hun ble oppkalt etter sin søster, og valgte samme yrke som henne. Inga Houge ble 7. august 1883 gift i Kristiania med skuespiller Nicolai Halvorsen. De var foreldre til skuespiller Tordis Halvorsen.