桓沖担任甯远将军、江州刺史、领镇蛮护军、西阳太守，居于寻阳。桓石秀生性放旷，常于山林河泽之间游弋垂钓，心中不以荣誉爵禄为念。他善于骑射，每发必中，曾经跟从桓沖打猎，登上九井山，很多人看着群众浩荡的盛景都倾坐发怔，只有桓石秀不受动摇，反而朗声歌咏抒怀。谢安曾经登门造访桓石秀，并向其请教世俗事务，但桓石秀却默然不答，谢安觉得很奇怪。某天，谢安跟从弟谢嗣提及此事，谢嗣前往询问桓石秀，桓石秀便答：「世事本来就是这位先生（指谢安）所通晓的事情，我又有甚么好说呢！」桓石秀在江州任职五年后，因病辞职。43岁时在家中病