太子高殷继位，高归彦与杨愔等人受遗诏辅政。干明元年（560年），高归彦出任司徒。不久，高殷由晋阳前往邺城。杨愔宣布敕命，将五千士兵留在西中，暗防有变。当时，高归彦总领禁卫，直到高殷到达邺城五日后，方才知道这道赦命，因此暗中怨恨杨愔。后来，杨愔、燕子献欲除掉常山王高演、长广王高湛，问计于高归彦。高归彦假装高兴，请他们与高元海商量。高元海表示答应，但内心却很不情愿，便派人告知高湛。高湛于是诛杀杨愔、燕子献等人。当时，高演欲进云龙门，被都督成休宁拒于门外，后在高归彦的晓谕下，方才进入，又用相同的方法进