让大将军、郡王，求解职，不许。武平三年（572年）其兄斛律光被杀，齐后主派遣使者至幽州，部属劝他闭城抗拒朝使，他没有听从，于武平三年七月廿五日（572年8月19日）被杀，虚岁五十五，五个儿子斛律世达、斛律世迁、斛律世辩、斛律世酋、斛律伏护一起被处死。北周建德六年二月六日（577年3月10日），周武帝诏令赠予斛律羡兖豫信海四州刺史、浮阳郡开国公、食邑两千户，当年八月十九日葬于邺城西北十里。