Han vokste opp på Lahellemoen i daværende Glemmen ved Fredrikstad som sønn av skoleinspektør Albert Andersen Torp (1868–1950) fra Skiptvet og husmor Julie Simonsen (1872–1958) fra Fredrikstad. Han var eldst av seks søsken. Faren gav ungene en streng og gudfryktig oppdragelse, og han hadde store ambisjoner for etterslekten. Ingemann Torp mente ellers at barndomshjemmet var preget av morens interesse for kunst og musikk.