为安定长史。当时曹操正与河北袁绍对峙，杨阜返回凉州后周围的人都问他对袁曹之争的看法，杨阜从性格上分析两人，认为曹操必胜，之后胜负果然如此。此后杨阜辞去自己不喜欢的长史这个职位，州牧韦端被提升为太仆，韦端之子韦康继任凉州刺史，任命杨阜为别驾。杨阜之后被举为孝廉，被曹操的丞相府选中，但是凉州却将其留下参与军事。此后西凉军阀马超在渭南被曹操大军击败，向西败逃，曹操追至安定郡，却有苏伯在河间郡起兵反叛，只能收兵东回。杨阜进谏说：“马超有韩信、英布一样的武勇，深得羌人、胡人的信任，凉州等西方郡县都畏惧他，如果大军