秀自幼已有令誉，是一名雅好风韵，性情灵秀，博览群书，尤其善读《老子》、《庄子》。桓石秀经常独处一室，很少与人应酬相接，当时的人都将他比喻为庾纯，并深受晋简文帝倚重。桓豁出任荆州刺史时，命桓石秀担任鹰扬将军、竟陵太守，但桓石秀却不愿出任。不久，他代叔父桓沖担任甯远将军、江州刺史、领镇蛮护军、西阳太守，居于寻阳。桓石秀生性放旷，常于山林河泽之间游弋垂钓，心中不以荣誉爵禄为念。他善于骑射，每发必中，曾经跟从桓沖打猎，登上九井山，很多人看着群众浩荡的盛景都倾坐发怔，只有桓石秀不受动摇，反而朗声歌咏抒怀。谢安