Cahn var far til Laurie Cahn og til jazz-gitaristen Steve Khan. Tidlig i sin karriere endret han stavemåten i sitt navn til Khan for å skape en «separat identitet» fra (sin) berømte far og «fordi han var så såret og sint på ham for så mange ting fra barndommen».