遂率部入晋（但并未加入晋军）。直到1927年4月，冯玉祥加入国民革命军北伐序列，改编西北军为国民革命军第二集团军后，张自忠方从山西回归冯玉祥麾下，任集团军总部副官处长（总务行政庶务）。1927年底，任第二十八师师长兼第二集团军军官学校校长。1928年北伐结束后，任第二十五师师长，该师曾在1929年的全国军风纪考察中列为全国第一。1930年中原大战爆发，张自忠任第六师师长，先后击败国民革命军第四十八师（师长徐源泉）与教导第二师（师长张治中）。西北军失败后率第六师残部入晋追随冯玉祥。1931年1月接