四年，夷简劾奏杨凭之前任江西观察使时的赃罪，宪宗因杨凭有政绩，只贬为临贺（今广西贺县南）尉，籍没家产。权德舆不敢送行，唯独徐晦一人送杨凭到蓝田。不久任杭州长史，元和七年，大赦天下，杨凭得以返京，为太傅。终官太子詹事，卒于任上。柳宗元是杨凭女婿。杨凭有子杨诲之，生于790年代，曾去临贺探望父亲。杨凭另有子杨浑之，杨浑之子杨简，杨简之子杨途，字遐至。