此后历任靖国联军第4军参谋长、靖国军中央军总指挥兼泸州卫戌司令、靖国联军高级顾问、云南陆军讲武学校（讲武堂的后身）教官。1920年，到日本留学陆军大学校，1923年毕业。翌年，归国，在奉系领袖张作霖麾下任上校参谋。同年冬冯玉祥的国民军建成，杨杰任孙岳所率的国民军第3军的参谋长。1925年（民国14年）9月，任国民军前敌指挥官兼河南军官教育团教育长。
蒋介石心腹军人.1926年（民国15年）5月，杨杰任程潜率领的国民革命军第六军总参议，参加北伐，后来任第6军第17师师