Han var gift med skuespillerinnen Yoshiko «Shirley» Yamaguchi (også kjent som Li Hsiang-lan (kinesisk: 李香蘭; pinyin: Lǐ Xiānglán)) mellom 1951 og 1956.