Trygve Swensen var gift tre ganger, og han ble far til tre barn i sitt første ekteskap.