Fra 1934 var Swensen tillitsmann for Telemark i Fortidsminneforeningen. Han nedla et stort arbeide her gjennom mange år, og ble utnevnt til æresmedlem i 1965. Fra 1946 arbeidet han ved Nidaros domkirkes restaureringsarbeider, og var byggeleder der i perioden 1948–1964. Han tegnet samtidig ombygging av uthus i 1949 som egen bolig ved Waisenhuset i Kongsgårdsgata 2, nær Nidarosdomen. For innsatsen ved Nidarosdomen ble han i 1953 utnevnt til ridder av 1. klasse av St. Olavs Orden.