Zhang Haipeng pasó a formar parte de la nueva administración de Manchukuo —que pronto se convirtió en un estado marioneta controlado por Japón—, y posteriormente se integraría en el recién constituido Ejército Imperial de Manchukuo. Zhang siguió estando al frente de un pequeño ejército cuasi-personal, al frente del cual tomó parte en la Pacificación de Manchukuo y, posteriormente, durante la Operación Nekka en apoyo de los ejércitos japoneses. Entre 1933 y 1934 fue gobernador de la provincia de Rehe. También destacó como presidente de la Sociedad de la Esvástica Roja en Manchukuo. Se retiró del Ejército en 1941, tras cumplir la edad reglamentaria.