叛晋，走入蜀地，桓祕受任梁益二州征讨军事、假节，带兵协讨司马勋。功成后任散骑常侍，徙中领军。晋孝武帝即位时，妖贼卢竦入宫，桓祕与左卫将军殷康入击卢竦，桓温调查此事时，却将桓祕免官，令其闲居于宛陵，因此桓祕常怀不平之心。桓温病危时，桓祕伙同桓温之子桓熙、桓济合谋打算趁桓氏家族探望桓温的时候对付弟弟桓沖。桓沖密知此事，于是不敢往视桓温。不久桓温逝世，桓沖先派人擒住桓熙、桓济，然后出席丧礼。此事过后，桓祕更遭家族唾弃，被置于桓温墓所附近赋居，从此桓祕无心政事，放志田园，以山水为乐。最后比桓沖更早逝世。