学史，好《左氏春秋》。一家四代同堂，家丁隆盛，兄弟姐妹就学者三十余人。永安初年（528年）官至散骑都尉，年十八。高欢曾寻访杨愔，除太原公开府司马，转长史，复授大行台右丞，封华阴县侯，迁给事黄门侍郎，并将庶女嫁给他。天保元年（550年）高洋自立时，杀魏孝静帝，将姐姐（孝静帝的皇后）太原长公主嫁给杨愔，并累封开封王，十分信任。高洋虽宠幸杨愔，但上厕所时，总叫杨愔拿篾片在旁守候，还用马鞭抽打杨愔背嵴，流血浃袍。杨愔体胖，高洋给他起外号叫“杨大肚”，一日高洋喝醉，用小刀想剖开杨愔的肚子，幸好崔季舒从旁笑语解