Han var gift to ganger, først med sangerinnen Gloria Delson i 1945 som han hadde to barn med, senere med Virginia «Tita» Basile i 1970. Han endret sitt navn fra Cohen til Kahn for å unngå sammenblanding med komikeren og MGM-filmskuespilleren Sammy Cohen, og igjen fra Kahn til Cahn for å unngå sammenblanding med lyrikeren Gus Kahn.