沦陷于辽东。高宾的祖父高暠在北魏太和初年从辽东归附，官至安定郡太守、卫尉卿，父亲高季安官至抚军将军、兖州刺史。高宾年轻时聪明机敏，有文才和武略的才能，在东魏历任龙骧将军、谏议大夫、立义都督。高宾的同僚妒忌他的才能，向高欢说坏话。高宾担心会遭受祸难，在大统六年（540年）抛弃家属，潜行归附西魏。宇文泰赞赏高宾，任命他担任安东将军、银青光禄大夫。高宾又被大司马独孤信引荐担任属官，赐姓独孤氏。独孤信被诛杀后，他的妻子儿女被迁徙到川蜀。独孤伽罗因为高宾是父亲的故吏，经常来往高宾家中。高宾之后略微升任通直散骑常侍