节度使韩滉将女儿嫁给他。贞元八年（792年），入朝为膳部员外郎。历官吏部郎中、中书舍人、潼关防御、镇国军使（今陕西华县）、浙东（今浙江绍兴）观察使，入为京兆尹（首都市长），“奸人无所影赖，京师豪右大震”，官至户部侍郎。元和初年，擢牛僧孺对策第一，为李吉甫排斥，元和四年（809年）出任岭南（今广东广州）节度使，聘用韦词、李翱为幕僚，“谘访得失，教民陶瓦易薄屋，以绝火患。”为监军许遂振所诬，宪宗下令追究此事。宰相裴垍为杨氏辩白，改授吏部侍郎，为唐邓（今河南沁阳）供军使，高霞寓兵败，贬郴州（今湖南郴州）刺史。