Tras el estallido de la Segunda guerra sino-japonesa, Zhang participó en varias operaciones militares contra los japoneses. En la Batalla de Shanghái (1937) estuvo al frente de un grupo de unidades, y en la Batalla de Wuhan (1938) estuvo al frente de un Cuerpo de ejército. En noviembre de 1944, ante la caída en manos japonesas de Guilin y Nanning —consecuencia de la Operación Ichi-Go—, Zhang se vio forzado a retirar su cuartel general y los de todo el 4.º Comando militar.