Ingemann Torp giftet seg i Nidarosdomen i 1921 med telegrafist Olga Lorentze Parelius (1897–1988) fra Bakklandet i Trondheim. Hun var datter av Martin Christian Parelius (1856–1938), skipper og senere los i NFDS, og husmor Grethe Anna Dahl (1872–1940), som begge opprinnelig kom fra Meløy på Helgeland. Ingemann og Olga Torps eneste barn var Kåre I. Torp (1923–2009), som overtok som administrerende direktør ved NOBØ etter faren i 1962.