满朝贵戚都争相与其交结。当时，高归彦位居将相，志得意满，出言傲慢，旁若无人。人们都认为他威权震慑天子，必会成为国家的祸乱。高湛也想起他以前反覆无常的事蹟，对他渐渐疏远。高元海、毕义云、高干和等人多次揭发他的过错。
外放冀州.河清元年（562年），高湛让魏收起草诏书，欲加封高归彦为右丞相。魏收道：“陛下以右丞相的身份即皇帝位，如今高归彦威名太盛，怎能再任命他为丞相。”高湛便任命高归彦为太宰、冀州刺史，并敕令侍卫不准高归彦入宫。当时，高归彦在家纵酒豪饮，对此事丝毫不知。次日，高