Cohn giftet seg med Rose Barker 18. september 1923. Ekteparet ble skilt i 1941. Den 31. juli samme året giftet Cohn seg med skuespillerinnen Joan Perry, som han var gift med frem til sin død. I 1943 fikk de datteren Jobella, som døde kort tid etter fødselen. Ekteparet fikk deretter sønnene John og Harry jr. Senere adopterte de datteren Catherine. Den 27. februar 1958 fikk Cohn et hjerteinfarkt, da han var på Arizona Biltmore Hotel i Phoenix i Arizona. Han døde i ambulansen på vei til sykehuset. Cohn er gravlagt på Hollywood Forever Cemetery i Los Angeles.