永安三年（530年）九月，尔朱荣遭杀害，斛斯椿率部众弃州归附当时停驻在魏、梁边境的元悦，授尚书左仆射，司空公。十二月尔朱兆攻入洛阳，又归尔朱兆。后参与拥立节闵帝的计画，因此拜骠骑大将军，加开府仪同三司，封城阳郡公，尔朱氏当时专擅国权，尔朱兆、尔朱世隆、尔朱度律等人又互相猜疑，斛斯椿经常居中调解，因惧怕尔朱氏败灭后祸及于身，便和贺拔胜共谋翦除尔朱氏，斛斯椿游说尔朱世隆，招集尔朱天光等军队攻打高欢，中兴二年（532年）闰三月，高欢在韩陵击败尔朱氏军队，斛斯椿对贾显智说：「如果不先执尔朱氏，我们便死无葬身之地了。