1880 wurde durch Li Hongzhangs Betreiben eine Marineakademie in Tianjin gegründet. Eine Militärakademie für das Heer folgte 1885 in derselben Stadt, welche im Verlauf in der Militärakademie Baoding fortbestand. Li Hongzhang musste bei der Einrichtung dieser Institutionen auf Vorbehalte der traditionellen Militärelite Rücksicht nehmen, welche sich durch ein neues Ausbildungssystem in ihrer Position bedroht sahen. Als Gouverneur von Zhili trieb er auch den Aufbau der Beiyang-Flotte zur modernsten Flotte Ostasiens voran. Ab 1884 fungierten zwei Schlachtschiffe aus deutscher Produktion als Herzstück der Einheit. Hierzu bediente er sich sowohl des Zukaufs von Schiffen als auch Versuchen der Eigenproduktion und dem Nachbau ausländischer Entwürfe. Die Flotte wurde während des ersten Japanisch-Chinesischen Krieges geschlagen und kapitulierte 1895 im Hafen von Weihaiwei, ohne das Eingreifen der übrigen Marinekräfte des Reiches. Nach Kriegsende unterschrieb er 1895 den Vertrag von Shimonoseki. Er wurde für die Niederlage im Ersten Japanisch-Chinesischen Krieg verantwortlich gemacht und entlassen.