投靠尔朱荣，颇得尔朱荣的喜好，当时军中的机密军谋，斛斯椿皆有所筹划，孝庄帝即位之后，担任大将军府司马，封阳曲县公，曾随尔朱荣征讨葛荣、元颢，后出任东徐州刺史、征东将军。永安三年（530年）九月，尔朱荣遭杀害，斛斯椿率部众弃州归附当时停驻在魏、梁边境的元悦，授尚书左仆射，司空公。十二月尔朱兆攻入洛阳，又归尔朱兆。后参与拥立节闵帝的计画，因此拜骠骑大将军，加开府仪同三司，封城阳郡公，尔朱氏当时专擅国权，尔朱兆、尔朱世隆、尔朱度律等人又互相猜疑，斛斯椿经常居中调解，因惧怕尔朱氏败灭后祸及于身，便和贺拔胜共谋翦