Swartz ble utdannet ved Toowoomba Grammar School. Han sluttet seg til andre den første australske imperiestyrke under den andre verdenskrig. Swartz var medlem av en infanteri-bataljon i den australske åttende divisjon under slaget om Malaya. Etter at han ble tatt til fange av en gruppe japanske soldatene, satt han som krigsfange i Changi fengselet og arbeidet på en jernbane mellom Burma og Thailand, sammen med en rekke andre allierte krigsfanger. Han ble utnevnt til medlem (MBE) av den britiske Order of the British Empire for sin krigstjeneste for de allierte under krigen. Senere ble han forfremmet til kommandørridder (KBE).