Den 17. september 1941 giftet Carnovsky seg med skuespillerinnen Phoebe Brand, som han var gift med frem til sin død. De fikk sammen sønnen Stephen Carnovsky.