貌奇伟，神态爽朗，博通艺术，亦善写文章。他对自己的才能和门第颇为自负，总认为自己是英雄豪杰，然而由于其父桓温晚年有篡位的迹象，所以朝廷一直对他深怀戒心而不敢任用。直至太元十六年（391年），二十三岁的桓玄才被任命为太子洗马。几年后出京任义兴（今江苏宜兴）太守，但还是颇觉不得志，曾感叹：「父为九州伯，儿为五湖长！」于是就弃官回到其封国南郡。桓玄住在南郡的治所，也就是荆州的治所江陵，优游无事，荆州刺史殷仲堪本来对他十分敬惮，而桓玄因着父叔长年治理荆州的威望而专横荆州，士民畏惧他更过于殷仲堪，殷仲堪因而与其深