升为太仆，韦端之子韦康继任凉州刺史，任命杨阜为别驾。杨阜之后被举为孝廉，被曹操的丞相府选中，但是凉州却将其留下参与军事。此后西凉军阀马超在渭南被曹操大军击败，向西败逃，曹操追至安定郡，却有苏伯在河间郡起兵反叛，只能收兵东回。杨阜进谏说：“马超有韩信、英布一样的武勇，深得羌人、胡人的信任，凉州等西方郡县都畏惧他，如果大军撤走，而不严格防备马超，则陇上的几郡必然失守。”曹操虽然认为他说的有理，但是最终仓猝撤军，而未善加准备。建安十八年（213年）马超召集戎兵攻打陇上，各郡县都响应马超而投降，只有冀城在凉