Under Taipingopprøret ble hans familie spredt og hans egen embedskarriere forstyrret og hindret. Meget av hans kunst og hans private kunstsamlinger gikk tapt.