他非常刻薄，高归彦对此怀恨在心。后来，高归彦担任骠骑大将军、开府仪同三司、徐州刺史、安喜县男。他一改幼时质朴之性，放纵自为，喜好声色，终日酣歌。
总领禁卫.天保元年（550年），文宣帝高洋建立北齐，封高归彦为平秦王。后因讨伐侯景之功，别封长乐郡公，加领军大将军。天保六年（555年），高归彦向文宣帝进谗，使得文宣帝逐渐疏远高岳，后奉命鸩杀高岳。天保九年（558年），高归彦担任尚书左仆射。 天保十年（559年），高洋病逝，太子高殷继位，高归彦与杨愔等人受遗诏辅政。干明元年（56