姑丈杨赐后来派人打理桓鸾祠灵，并透过县官给予桓晔祠具，桓晔都不肯接受。此后每次桓晔到京师洛阳时，都不会前往投靠姑丈及姑母，可见其坚持与执着。宾客从者都敬重桓晔的志向与德行。后来桓晔出任郡功曹，后举孝廉、有道、方正、茂才，三公一起辟任他，他都不肯赴任。初平年间，天下纷乱，桓晔避祸会稽，扬州刺史刘繇及会稽太守王朗先后加以济，桓晔都不肯接受。后来桓晔循海路前往交趾，但在与南越人共存的时候，被恶人诬陷，死于合浦郡的监狱中。