Før dette hadde han vært involvert i en utenomekteskapelig kjærlighetsaffære som senere ble «foreviget» ved det at hans elskerinne, amerikanske Emily Hahn, beskrev den inngående i boken «China and Me» i 1944 i USA. Han skilte seg, og Emily Hahn og han giftet seg i 1945.