Kawashiman vanhemmat olivat Kiinaa hallinneeseen mantšujen Qing-dynastiaan kuulunut prinssi Su ja tämän jalkavaimo. Kawashima, syntyjään prinsessa Xianyu, oli isänsä 14. lapsi. Kiinan keisarikunnan kukistuttua vuoden 1912 Xinhai-vallankumouksessa hänet annettiin isänsä japanilaisen sotilasneuvonantajan Naniwa Kawashiman kasvattilapseksi. Hän varttui Japanissa, sai japanilaisen nimen Yoshiko Kawashima ja alkoi suhtautua välinpitämättömästi kiinalaiseen syntyperäänsä. Kasvatti-isänsä seksuaalisesti hyväksikäyttämä Kawashima alkoi itsenäistyttyään elää ”turmeltunutta” elämää. Vuodesta 1925 alkaen hän käytti pääasiassa miesten vaatteita, erityisesti sotilasunivormuja. Hän joutui vuonna 1927 järjestettyyn avioliittoon mongolialaisen prinssi Kanjurjabin kanssa, mutta erosi tästä vain neljän kuukauden kuluttua.