云南陆军讲武学校（讲武堂的后身）教官。1920年，到日本留学陆军大学校，1923年毕业。翌年，归国，在奉系领袖张作霖麾下任上校参谋。同年冬冯玉祥的国民军建成，杨杰任孙岳所率的国民军第3军的参谋长。1925年（民国14年）9月，任国民军前敌指挥官兼河南军官教育团教育长。
蒋介石心腹军人.1926年（民国15年）5月，杨杰任程潜率领的国民革命军第六军总参议，参加北伐，后来任第6军第17师师长。翌年，他升任第6军副军长。同年第6军攻南京，他转任总司令部淮南行营主任兼总预备