床就坍塌了。当时众人都大惊失色，而殷仲文却奉承说：「这是由于陛下的圣德太过深厚，大地都承载不住。」令桓玄大喜。又因他是桓楚的开国元勋，故亦得厚待，被封为「东兴公」，生活亦十分奢侈。元兴三年（404年），刘裕领导起义军于京口及广陵举兵，殷仲文接替被杀的桓脩为徐兖二州刺史。但不久桓楚军于建康败于刘裕等军，殷仲文奉命准备西走的船只，并跟随桓玄西奔江陵。当时桓玄打算以严刑峻法以维持皇帝威严，但欲令到部众更加怨恨和离心；殷仲文试图劝谏桓玄亦失败。后桓玄于峥嵘洲再败于起义军将领刘毅，只得一直西逃，并在巴陵留下晋穆帝