年轻时就很有才华，容貌俊秀。早年因堂兄殷仲堪推荐而任骠骑将军司马道子的参军，后历任骠骑谘议参军及征虏将军司马元显的长史。不过时为荆江二州刺史的桓玄割据辖区，不受朝廷所制，故作为桓玄姊夫的殷仲文就被贬任新安太守。其实殷仲文与桓玄关系向来都不甚亲密，但桓玄于元兴元年（402年）率兵攻下建康，诛杀掌政的司马道子、司马元显父子，控制朝廷后，殷仲文就弃郡投奔桓玄。桓玄对此十分高兴，于是以他为自己的谘议参军，并得与王谧及桓玄心腹卞范之相同的宠待。元兴二年（403年），桓玄倚重的桓伟去世，殷仲文及卞范之皆催促桓玄早日