投奔河北兵马大元帅康王赵构，隶属于武功大夫、后军统制张俊。由于张俊的推荐，受到康王召见和赏识，但此后杨沂中仍在张俊麾下任职。宋高宗建炎元年（1127年）从破任城贼李昱，加阁门祗候；二年（1128年）从破嘉兴贼徐明，迁遥郡荣州刺史；三年（1129年）从定苗刘兵变，迁遥郡贵州团练使，授神武右军中部统领；四年（1130年）参与明州之战，迁遥郡文州防御使、神武右军中军统制；绍兴元年（1131年），参与镇压叛变的右武大夫、忠州防御使、舒蕲光黄镇抚使、兼知舒州李成，迁遥郡密州观察使。
掌管禁军.