历十二年（777年）元载伏诛，任中书侍郎、同中书门下平章事、集贤殿崇文馆大学士，兼修国史。杨绾患有不治之症，到延英殿议政，必须有人搀扶。不久卒。追封为司徒。杨绾生性节约，从不过问生计，俸禄全分给亲戚好友。崔宽与郭子仪都对他十分敬畏，时比之杨震、邴吉、山涛、谢安之俦。子杨弘微，兼监察御史。