。高洋死后，癸未，发丧，群臣无下泪者，只有杨愔一人涕泗横流，呜咽不已。杨愔和燕子献等人商议外调高演和高湛离京（首都邺城）到外地担任刺史。皇太后李祖娥把这道密奏给高仲密的前妻李昌仪看，李昌仪再向太皇太后娄昭君告密。干明元年（560年），二月二十三日，尚书省大宴文武百官。杨愔等将去参加，散骑常侍兼中书侍郎郑颐劝他不可前往，杨愔说：“我等精忠体国，常山王拜职岂有不到之理！”宴中被抓，令家奴施以暴打，杨愔等人头破血流，杨愔的一只眼睛被打出来。娄昭君起初想保住女婿杨愔性命，贺拔仁说杨愔已经被打得眼珠迸出，活不了。