Rinnan ble født på et soverom i andre etasje i Kirkegata 63 i Levanger, første barn av ekteparet Margit og Johannes Rinnan. Etter hvert kom det syv barn til: Marit, Ruth, Erling, Rolf, Odd, Gisle og endelig Tor Ingar i april 1927, like før Henry fylte tolv år. Johannes (1892–1954) var skomaker, en dyktig bridgespiller og i starten av 1930-tallet medlem av Dybwad Brochmann-bevegelsen som senere godtok den tyske okkupasjonen av Norge. Selv var Johannes sønn av skredder og salmedikter Malakias Mikalsen Rinnan (1851–1939).