Han var gift fra 1937 til 1940 med Alice Faye og fra 1948 med Cyd Charisse. De to sistnevnte opptrådte sammen i nattklubbsshow.