927年（民国16年）6月，他任张的侍从武官长，获授陆军中将。10月，他任第5方面军第30军军长，攻击山西省北部的阎钖山并取得胜利。翌年，中国国民党北伐军胜利。6月，张作霖在逃走途中在皇姑屯事件中遇刺身亡。此后于芷山率军回到奉天。后来，他在张学良手下历任东北东边镇守使、东北边防军司令长官公署军事参议官，统辖奉天省东北道的20余县。九一八事变爆发后的1931年（民国20年）10月15日，于芷山自称“东边（道）保安司令”而发表“独立宣言”。满洲国成立后的1932年3月14日，他任奉天省警