故于元兴二年（403年）以桓胤为中书令。同年桓玄篡位称帝，改桓胤为吏部尚书，但至次年三月刘裕就举义兵讨伐桓玄，桓玄兵败从建康西走江陵，桓胤亦跟随。直至桓玄于五月败死，桓胤才向晋廷归降。义熙元年（405年），刘毅等人攻下桓谦、桓振等人控制的江陵，迎回晋安帝，下诏大赦，独桓氏不赦，但特因桓沖忠于晋室，故特免桓胤之死，流放到新安郡。义熙三年（407年），时任东阳太守的殷仲文感到不得志，待薄了江州刺史何无忌，故此何无忌就向刘裕说：「桓胤、殷仲文是心腹之患，南燕对比起来不足为忧呀。」视消灭他们比对付当时南侵的