I 1938 giftet han seg med billedkunstneren Else Hagen (1914–2010). De fikk to barn sammen, Pål Didrik (1944–2016) og Bentine i 1947. Pål Didrik Holm fulgte i sin fars fotspor og tok arkitektutdannelse ved NTH. Bentine Holm ble skuespiller og sanger.