Han vokste opp på Lillehammer, der faren, Jens Torp, var lege og pionér innen psykiatrien. Han var yngst av tolv søsken. Moren, Margrethe Geelmuyden Houge, døde to uker etter at han ble født.