军第5混成旅旅长。1924年（民国13年），他任东北独立骑兵第8旅旅长、张作霖的卫队司令。1925年，郭松龄起兵反奉，因保张作霖有功而被提升为师长。1927年（民国16年）6月，他任张的侍从武官长，获授陆军中将。10月，他任第5方面军第30军军长，攻击山西省北部的阎钖山并取得胜利。翌年，中国国民党北伐军胜利。6月，张作霖在逃走途中在皇姑屯事件中遇刺身亡。此后于芷山率军回到奉天。后来，他在张学良手下历任东北东边镇守使、东北边防军司令长官公署军事参议官，统辖奉天省东北道的20余县。九一八事变爆发