I 1920 ble han ansatt som byarkitekt i Porsgrunn; senere ble stillingen omgjort til stadskonduktør. I 1923 vedtok bystyret i Porsgrunn å avvikle stillingen som stadskonduktør på grunn av den rådende økonomiske krisen, og Swensen mistet dermed sin stilling og inntekt. Swensen hadde giftet seg i 1921, og som familieforsørger måtte han se seg om etter andre inntektskilder. Det var få – om noen – som satte i gang byggearbeider i den rådende økonomiske lavkonjunkturen, men Swensen ble engasjert som timelærer i tegning ved Den tekniske Aftenskole, og begynte også å levere en rekke artikler om kulturhistorie og arkitektur til blant annet . I tillegg fikk han en rekke oppdrag av Riksantikvaren om oppmåling av verneverdige bygninger i Grenland og øvre Telemark. Fra slutten av 1920-årene ble det igjen mulig å få oppdrag som arkitekt, og Swensen ble engasjert av flere av de ledende menn i Porsgrunn og omegn til å tegne privatboliger som har blitt stående som praktbygg i distriktet.