Hans far var rektor ved Wangaratta High School. En av hans fire søsken var doktor Joan Refshauge (1906–1979) som ble tildelt den britiske Order of the British Empire for hennes betydelige arbeider som hun administrerte i Papua Ny-Guinea. Familien deres var opprinnelig av dansk avstamming og er etterkommere av Peder Pedersen Refshauge. Familien flyttet til Hampton, Melbourne da faren hans ble alvorlig syk.