Han var gift med skuespiller Bibi Andersson fra 1960 til 1973 og giftet seg med kunster Anita Holmberg i 1975.