，高归彦向文宣帝进谗，使得文宣帝逐渐疏远高岳，后奉命鸩杀高岳。天保九年（558年），高归彦担任尚书左仆射。 天保十年（559年），高洋病逝，太子高殷继位，高归彦与杨愔等人受遗诏辅政。干明元年（560年），高归彦出任司徒。不久，高殷由晋阳前往邺城。杨愔宣布敕命，将五千士兵留在西中，暗防有变。当时，高归彦总领禁卫，直到高殷到达邺城五日后，方才知道这道赦命，因此暗中怨恨杨愔。后来，杨愔、燕子献欲除掉常山王高演、长广王高湛，问计于高归彦。高归彦假装高兴，请他们与高元海商量。高元海表示答应，但内心却很不情