国民革命军第二集团军后，张自忠方从山西回归冯玉祥麾下，任集团军总部副官处长（总务行政庶务）。1927年底，任第二十八师师长兼第二集团军军官学校校长。1928年北伐结束后，任第二十五师师长，该师曾在1929年的全国军风纪考察中列为全国第一。1930年中原大战爆发，张自忠任第六师师长，先后击败国民革命军第四十八师（师长徐源泉）与教导第二师（师长张治中）。西北军失败后率第六师残部入晋追随冯玉祥。1931年1月接受张学良节制与改编，西北军残部编为东北边防军第三军（后改番号为第二十九军，军长宋哲元），张自忠任