Statsminister Robert Menzies utnevnte Swartz til posisjonen som statssekretær for australsk handel i 1956. I denne stillingen ledet han samme året flere handelsavtaler mellom India og Australia, og senere også med Sørøst-Asia i 1958. Han ble utnevnt til helseminister i 1964 og satt på denne posten frem til 1966 og for en kortere periode satt han som minister for sosiale tjenester tidlig i 1965. Han ble adlet i 1972. Han døde i 2006, i en alder av 95 år.