925年初，冯玉祥调张岚峰为西北督办公署卫队旅骑兵连连长。不久，张岚峰被冯玉祥派赴日本留学，并作为代表负责冯玉祥部15名下级军官赴日本留学的全部事宜。1926年10月，张岚峰入日本陆军士官学校学习炮兵。不久，张岚峰了解到时任中华留日基督教青年会总干事马伯援是冯玉祥的老朋友，便同马伯援接近。马伯援很喜欢张岚峰，多次在信中向冯玉祥提到张岚峰。1928年6月，张岚峰归国后，被冯玉祥任命为国民革命军第二集团军第十三炮兵团团长，次年调任总司令部炮兵第一团团长。1929年6月，冯玉祥赴山西省同阎锡山联络共同反对蒋介