Il giorno seguente mentre si trovava in treno di ritorno in Manciuria, morì in un attentato che divenne noto come l'Incidente di Huanggutun. Il colonnello Komoto Daisaku, un ufficiale dell'Armata del Kwantung giapponese piazzò una bomba su un ponte ferroviario che esplose quando il treno di Zhang stava passando. Il generale morì qualche ora dopo. Al Processo di Tokyo del 1946, Okada Keisuke testimoniò che Zhang fu ucciso perché l'Armata del Kwantung era infuriata per il suo fallimento nel fermare l'esercito di Chiang, che era sostenuto da Mosca, il rivale strategico di Tokyo. Per due settimane la morte di Zhang fu tenuta segreta mentre la corsa per il potere si stava decidendo. Per questo Zhang morì ufficialmente il 21 giugno 1928. Il generale fu succeduto dal suo figlio più grande, concepito con la sua moglie ufficiale, Zhang Xueliang, che fu per questo chiamato il "Giovane maresciallo".