张作霖麾下任上校参谋。同年冬冯玉祥的国民军建成，杨杰任孙岳所率的国民军第3军的参谋长。1925年（民国14年）9月，任国民军前敌指挥官兼河南军官教育团教育长。
蒋介石心腹军人.1926年（民国15年）5月，杨杰任程潜率领的国民革命军第六军总参议，参加北伐，后来任第6军第17师师长。翌年，他升任第6军副军长。同年第6军攻南京，他转任总司令部淮南行营主任兼总预备队指挥官。南京事件后程潜失势，8月第6军改组为第18军，杨杰任该军军长。北伐成功后的1928年（民