十余万入侵幽州，率军击退。次年，突厥朝贡北齐，于是朝廷任命他为行台仆射。为了加强北方防御，大设守备以御突厥。从库堆戍东至海二千余里间，筑城置所戍守。又引高梁水以灌田，积储军需，兵强马壮，突厥不敢犯，称之“南面可汗”。齐后主天统四年（568年），转任行台尚书令，别封高城县侯。武平元年（570年），加骠骑大将军，进爵荆山郡王。常以家族权重为忧，多次派人入邺都探问吉凶。于是上书推让大将军、郡王，求解职，不许。武平三年（572年）其兄斛律光被杀，齐后主派遣使者至幽州，部属劝他闭城抗拒朝使，他没有听从，于武平三年七月