Swanstrom var sjelsørger ved i Brooklyn fra 1934 til 1960. Han hadde i tillegg vervet som assisterende direktør for bispedømmets avdeling av Catholic Charities fra 1933 til 1943, assisterende administrerende direktør for Catholic Relief Services (CRS) fra 1943 til 1947, og til slutt eksekutiv direktør for CRS fra 1947 til 1976. Catholic Relief Services, som til å begynne med het Catholic War Services, var opprinnelig ment som de amerikanske biskopers tidsavgrensende innsats for å støtte flyktninger og krigsfanger fra andre verdenskrig, men ble en permanent organisasjon i 1955, som også trådte til med assistanse til ofre for naturkatastrofer som jordskjelv, og ofre for pågående kriger. Men som det opprinnelig hadde vært, hadde CRS et særlig tyngdepunkt på bosetting avflykninger og distribusjon av mat, klær og medisiner til steder der dette trengtes. Senere begynte CRS med prosjekter for å bygge opp om økonomisk utvikling i mange fattige land og områder.