Una de sus esposas más famosas fue la cantante Abbe Lane, que actuó con él en numerosas ocasiones hasta el divorcio de la pareja en 1964.