，高洋给他起外号叫“杨大肚”，一日高洋喝醉，用小刀想剖开杨愔的肚子，幸好崔季舒从旁笑语解纷，杨愔才免去一死。有时还用棺材把杨愔放进去，打算活埋，最后总算作罢。由于杨愔能理国事，政治还算清明，人称“主昏于上而政清于下”。高洋死前，遗诏尚书杨愔、领军大将军高归彦、侍中燕子献、黄门侍郎郑颐等为高殷辅政。高洋死后，癸未，发丧，群臣无下泪者，只有杨愔一人涕泗横流，呜咽不已。杨愔和燕子献等人商议外调高演和高湛离京（首都邺城）到外地担任刺史。皇太后李祖娥把这道密奏给高仲密的前妻李昌仪看，李昌仪再向太皇太后娄昭君告密。