Nacque il 18 novembre 1836 in quella che oggi è conosciuta come la Città-contea di Chaohu, nella provincia dell'Anhui. Unitosi alla ribellione dei Taiping capeggiata da Hong Xiuquan, nel corso del 1854, durante la battaglia di Anqing nel 1861 si arrese alle truppe imperiali insieme a Cheng Xuechi, passando al servizio della dinastia Qing. Unitosi come soldato di cavalleria alle truppe dell'Armata dell'Huai, al comando del generale Li Hongzhang, contribuì a sopprimere la rivolta insieme a Liu Mingchuan. Successivamente contribuì a reprimere la rivolta Nien, raggiungendo il grado di colonnello. Nel 1874 protestò duramente contro la decisione del governo imperiale di ridurre le dimensioni dell'esercito, e dovette ritornare alla sua città natale per evitare di essere giustiziato. Nonostante fosse un generale di cavalleria, nel 1875 Li Hongzhang, che allora ricopriva l'incarico di Viceré di Zhili, lo reclutò per assumere il comando della flotta del Beiyang, la più moderna delle quattro flotte che componevano la marina imperiale. Nel corso del 1880 si recò a Newcastle upon Tyne, Inghilterra, per accettare la consegna dell'incrociatore protetto "Chaoyong", e in questa occasione fu ritratto dal fotografo della base navale di Newcastle, H.S. Mendelssohn. Visitò poi la Germania e la Francia per specializzarsi nelle moderne tecniche di costruzione navale. Al suo ritorno in patria divenne un fervente sostenitore della "politica di auto-rafforzamento" cinese, ed esortò Li Hongzhang a creare moderni cantieri e industrie navali al fine di costruire i nuovi incrociatori corazzati e non dover dipendere dalle importazioni dall'estero. Ebbe un ruolo attivo nella creazione delle basi navali di Wei-hai-wei e Lüshunkou.