桓伟性格平厚笃实，在藩国中深受士人和庶民所敬重。后来任使持节、都督荆州、益州、甯州、秦州及梁州五州的军事，又历任安西将军、领南蛮校尉、荆州刺史、西昌侯，赠骠骑将军、开府仪同三司，是众兄弟中的出色人物。桓伟是桓玄所倚重的兄长，桓伟死后，桓玄一方面以桓脩、桓石康等人代其职，另一方面又想到桓伟死后自己无所依靠，四方积怨又深，因此促成他谋反不臣之心。