徽死后赠司徒，谥号「文宣」。其兄为龙骧将军高归义，死后赠侍中、骠骑大将军、仪同三司、雍州刺史。
生平.
早年.高归彦是父亲高徽早年在长安与妇人王氏私通所生。高归彦九岁时，高欢平定京洛，派人将他接到洛阳，交由高岳（高归彦族兄）抚养。高岳见高归彦年幼，对他非常刻薄，高归彦对此怀恨在心。后来，高归彦担任骠骑大将军、开府仪同三司、徐州刺史、安喜县男。他一改幼时质朴之性，放纵自为，喜好声色，终日酣歌。
总领禁卫.天保元年（550年），文宣帝