州弘农（今河南省灵宝县）人。杨于陵次子，与杨虞卿为族兄弟。八岁能文，主考官权德舆录为进士，二十岁登博学宏词科，受到宰相武元衡赏识，“皆权德舆门生，情义相得，进退取舍，多与之同”。累迁中书舍人。由户部侍郎擢尚书右丞，封爵弘农伯。李德裕辅政，被黜为湖南观察使。会昌元年（841年）三月被贬潮州。唐宣宗大中初，召为吏部尚书。卒谥孝穆。
子孙.妻子李氏为李翱之妹