同年六月，因其父斛律金去世而辞官，不久与兄长斛律光官复原职，依然镇守燕蓟