Med det amerikanske engasjement i Vietnamkrigen begynte CRS med omfattende arbeider i Sørøst-Asia. Biskop Swanstrom og CRS ble krisisert av Catholic Peace Fellowship for å konsentrere innsatsen om Sør-Vietnam. I 1967 nle det hevdet av CPF at CRS' største matdistribusjonsprogram ble brukt av den amerikanske og den sørvietnamesiske regjering som betalingsytelser til sørvietnamesisk militdsog deres familier. Hvis deres påstander var korrekte, sa CPF, så var Catholic Relief Services bare et redskap for den amerikanske regjerings politikk snarere enn en upartisk formidler av tjenester til trengende i Vietnam. Biskop Swanstrom svarte at hjelp til Nord-Vietnam sannsynligvis stred mot amerikansk lov, og at det ikke var noen garantier for at CRS-hjelp ikke ville ble benyttet i militært øyemed. Han foretok en rekke besøk til Vietnam fra 1956 til 1968 for å ha tilsyn med CRS' virke der.