Fra 1959 var Sutherland gift med Lois Hardwick. De ble skilt i 1966. Sutherland var så gift med skuespilleren Shirley Douglas, datter av den canadiske politikeren Tommy Douglas, fra 1966 til 1970. Sammen fikk de datteren Rachel og sønnen Kiefer, sistnevnte er selv skuespiller og regissør.