不敢犯，称之“南面可汗”。齐后主天统四年（568年），转任行台尚书令，别封高城县侯。武平元年（570年），加骠骑大将军，进爵荆山郡王。常以家族权重为忧，多次派人入邺都探问吉凶。于是上书推让大将军、郡王，求解职，不许。武平三年（572年）其兄斛律光被杀，齐后主派遣使者至幽州，部属劝他闭城抗拒朝使，他没有听从，于武平三年七月廿五日（572年8月19日）被杀，虚岁五十五，五个儿子斛律世达、斛律世迁、斛律世辩、斛律世酋、斛律伏护一起被处死。北周建德六年二月六日（577年3月10日），周武帝诏令赠予斛律羡兖豫信海四州