楚军于建康败于刘裕等军，殷仲文奉命准备西走的船只，并跟随桓玄西奔江陵。当时桓玄打算以严刑峻法以维持皇帝威严，但欲令到部众更加怨恨和离心；殷仲文试图劝谏桓玄亦失败。后桓玄于峥嵘洲再败于起义军将领刘毅，只得一直西逃，并在巴陵留下晋穆帝皇后何法倪及晋安帝皇后王神爱。当时殷仲文以收集散卒为名移驻别船，趁机迎两位皇后叛归东晋。殷仲文回到建康后任镇军将军刘裕的长史，后转尚书。殷仲文向来有名望，认为靠向刘裕必可使自己成为当政大臣，不过他的官位权势却一直未能上升，反而与昔日所看轻的年少谢混辈同一等级，因此常感到很不得志