I 1942 giftet han seg med Helen Elizabeth Allwright, en senior sykepleier ved Alfred Hospital, og de hadde fire sønner og en datter. sammen To av deres sønner er Andrew Refshauge, en tidligere visestatsminister i New South Wales, og Richard Refshauge, en dommer i den australske Høyesterett. Sir William Refshauge døde 27. mai 2009, i en alder av 96 år.