除了不被兄长桓温重用外，亦与弟弟桓沖势成水火。当桓祕因事被逐于山林后，朝廷曾打算再征桓祕为散骑常侍，桓祕却三度上书陈情推却。这是因为桓祕一向轻视弟弟桓沖，桓沖代桓温掌权后，桓祕更耻于担任职位卑微的常侍。可见其人计较名位得失。桓祕文采不俗，曾与谢安、习凿齿等人有书信往来，亦有诗作十首传世，辞理均有可观之处。习凿齿有《与桓祕书》留世。