颍川王元斌之镇守虎牢，长孙子彦镇守陕，贾显智、斛斯元寿镇守滑台。贾显智却投降高欢，大都督侯几绍战死，东面部队混乱，高欢趁机领军渡河。元斌之先是与斛斯椿不和，于是引兵回河桥并欺骗说：「高欢兵已至！」孝武帝急命斛斯椿撤退，一同出逃投奔宇文泰。宇文泰护送元修至长安，斛斯椿跟随之。入长安后，拜官尚书令、侍中、封常山郡公。西魏大统元年（535年），斛斯椿解尚书令，转为太保，此为宇文泰架空斛斯椿权力的手段，隔年（536年）又升为太傅，大统三年（537年）去世，享年四十三岁。元宝炬曾赐予斛斯椿数间店铺与耕牛，斛斯椿当