Fraser var gift med Kathleen Hetherington og ble far til tre barn, Simon, Caroline og Nicholas. Hans datter Caroline, under navnet Caro Fraser, fulgte hans fotspor som forfatter.