Han var gift med Martha Böhmer (1920–2007) fra Sverige og far til seks barn, blant annet skuespilleren Therese Damsholt og lyrikeren psykolog Maria Damsholt.