派往莫斯科中山大学学习，在校期间因参与托派活动而于1927年被遣送回国。次年，张以黄埔一期学员身份前往徐州投奔蒋介石，被授予中校军衔，在国民革命军总司令部服务，成为蒋的贴身亲信。1932年，张镇任委员长侍从室上校侍从副官，次年任特务团少将团长，不久又改任宪兵第一团团长。1936年，张出任国民革命军第8师副师长，率部镇守甘肃天水，次年调防江苏。抗日战争爆发后，张率部移师上海。在淞沪战役中，张率部负责南翔一带的防务，身先士卒，屡立战功。10月，张奉命回到南京，出任宪兵司令部副司令，后率宪兵司令部先后驻防长沙