晋穆帝皇后何法倪及晋安帝皇后王神爱。当时殷仲文以收集散卒为名移驻别船，趁机迎两位皇后叛归东晋。殷仲文回到建康后任镇军将军刘裕的长史，后转尚书。殷仲文向来有名望，认为靠向刘裕必可使自己成为当政大臣，不过他的官位权势却一直未能上升，反而与昔日所看轻的年少谢混辈同一等级，因此常感到很不得志。后来殷仲文更被外调为东阳太守，令殷仲文更加失望。东阳郡属江州，而时任江州刺史的何无忌亦十分仰慕殷仲文，于是殷仲文答允去上任时顺道去拜访他。何无忌更命府中文人殷阐及孔甯子等人写好文章，待他前来。不过殷仲文因为失志而心神恍惚，