1926年（民国15年）5月、楊杰は程潜率いる国民革命軍第6軍総参議に任命されて北伐に参戦し、まもなく第6軍第7師師長となる。翌年、第6軍副軍長に昇進した。同年に第6軍が南京を攻略すると、総司令部淮南行営主任兼総予備隊指揮官に転じている。南京事件を起こして程潜が失脚し、8月に第6軍が第18軍に改組されると、楊が同軍軍長に起用された。北伐最終盤の1928年（民国17年）3月、軍事委員会常務委員兼弁公庁主任に抜擢され、翌月には第1集団軍総司令部総参謀長に昇進している。以後、楊は蔣介石直属の腹心とみなされることになった。10月、北平憲兵学校校長に任ぜられている。