高岳待他甚薄，高归彦怀恨在心。555年，高归彦向高洋进谗，说高岳在城南的房子有如皇宫，引起高洋嫉恨。高岳素来有好色的名声，曾召邺下歌伎薛氏姊妹陪酒取乐。后来薛妹入宫为高洋宠妃。高归彦则去挑拨说高岳曾经和薛嫔发生过肉体关系。恰好这时薛嫔的姐姐又来为父亲要求司徒一职，高洋怒说：“司徒大官，怎可求得？”薛姐恃妹之宠，又冒犯了高洋。高洋一怒之下把薛嫔的姐姐锯死。责高岳「姦淫民女」，高岳辩白说：“臣本欲纳此女，嫌她轻薄，故并未纳之。”高洋大怒，以为是讥笑自己，以毒酒赐死高岳。高岳不服，高归彦劝他喝掉鸩酒还可以保住全家