Swensen restaurerte en rekke kirker, deriblant Nes kirke i Sauherad, Hjartdal kirke, Langesund kirke (en trekirke som brant ned til grunnen i 1988), Porsgrunn og Kongsberg kirke. Et særlig fremtredende eksempel på hans arkitekturhistoriske ekspertise er hans restaurering av Austråttborgen (1961).