Han var gift fem ganger. I sitt andre ekteskap var han gift med Betty Sutherland, søster av Donald Sutherland. Hans siste kone var 50 år yngre og han fikk barn siste gang da han var 70 år gammel.