Yeh vokste opp i en liten fjellby nær Changjiang. Da han var 14 år dro han derfra for å gå på skole i Shanghai. Senere studerte han litteratur ved Wuhanuniversitetet. I 1944 reiste han til England og forsket i engelsk litteratur ved King's College i Cambridge. Han begynte å skrive i England. Etter borgerkrigens slutt vendte han til Kina. I årene 1950-74 utgav Yeh et tidsskrift på engelsk om kinesisk litteratur. Han har skrevet romaner, noveller og essayer. Dessuten har han oversatt bl.a. Aiskylos, H.C. Andersen og Virginia Woolf.