Refshauge arbeidet ved The Alfred Hospital da den andre verdenskrig brøt ut i 1939, og han valgte å verve seg til Australian Imperial Force som et medisinsk offiser med rang som kaptein i den militære ambulansetjenesten. Han hadde det meste av sin utenlandstjeneste på forskjellige steder i Midtøsten der han blant annet deltok under slaget ved Bardia, erobringen av Tobruk, kampene i Hellas, og slagene om Kreta, New Guinea og Borneo. Han ble forfremmet til major i 1942 og senere ble han utnevnt til oberstløytnant.