后建武将军胡藩以刀柄凿石，在崖上凿出了一些勉强能容纳手脚放上去的位置，并由此攀登至崖顶。胡藩登顶后就与一些能跟上他的士兵进攻，司马文思等防守失败，稍稍后退，刘裕把握机会进攻，终令司马文思溃败，司马休之与鲁宗之北逃襄阳，鲁宗之参军李应却闭门不纳，二人于是与鲁轨、司马文思、新蔡王司马道赐、马敬、鲁范一同在当地人保衞下北奔后秦。
投降北魏.司马休之到了后秦首都长安（今陕西西安）后，获后秦皇帝姚兴任命为扬州刺史。义熙十三年（417年）刘裕灭后秦，司马休之、司马文思、司马国璠、司马道赐、鲁轨