表废司马文思为庶人，令刘裕大感不悦，即命江州刺史孟怀玉防备。
出逃后秦.义熙十一年（415年），刘裕收捕了司马休之在建康的次子司马文宝及侄儿司马文祖，并将二人杀害，又亲自率军讨伐司马休之。当时雍州刺史鲁宗之自觉不容于刘裕，就派了鲁轨支援司马休之。刘裕到后，鲁轨及司马文思率四万荆州府军沿着江边悬崖防守，令渡江的刘裕不能进攻。后建武将军胡藩以刀柄凿石，在崖上凿出了一些勉强能容纳手脚放上去的位置，并由此攀登至崖顶。胡藩登顶后就与一些能跟上他的士兵进攻，司马文思等防守失败，稍稍后退，刘裕把