高宾年轻时聪明机敏，有文才和武略的才能，在东魏历任龙骧将军、谏议大夫、立义都督。高宾的同僚妒忌他的才能，向高欢说坏话。高宾担心会遭受祸难，在大统六年（540年）抛弃家属，潜行归附西魏。宇文泰赞赏高宾，任命他担任安东将军、银青光禄大夫。高宾又被大司马独孤信引荐担任属官，赐姓独孤氏。独孤信被诛杀后，他的妻子儿女被迁徙到川蜀。独孤伽罗因为高宾是父亲的故吏，经常来往高宾家中。高宾之后略微升任通直散骑常侍、抚军将军、大都督。周明帝宇文毓初年，高宾出任咸阳郡太守，他在当地处理政务简要并施以恩惠，很得民众的信赖。周明