高欢的长子高澄（北齐文襄帝）做王世子时，任命斛律光为亲信都督，不久升为征虏将军，累加卫将军