建康西走江陵，桓胤亦跟随。直至桓玄于五月败死，桓胤才向晋廷归降。义熙元年（405年），刘毅等人攻下桓谦、桓振等人控制的江陵，迎回晋安帝，下诏大赦，独桓氏不赦，但特因桓沖忠于晋室，故特免桓胤之死，流放到新安郡。义熙三年（407年），时任东阳太守的殷仲文感到不得志，待薄了江州刺史何无忌，故此何无忌就向刘裕说：「桓胤、殷仲文是心腹之患，南燕对比起来不足为忧呀。」视消灭他们比对付当时南侵的南燕更重要。当年闰二月，刘裕府将骆冰因谋反而被杀，其父骆球与殷仲文、殷叔文等皆被指谋反而被诛杀，而桓胤亦被指是殷仲文阴谋