因袁涣而自行辞职离去。后来迁任侍御史。后被任命为谯县县令，但袁涣不应命。后来刘备领豫州牧，举袁涣为茂才。后来袁涣避乱江淮地区，被袁术征命。袁涣和袁术议论，袁术都不能反驳，令到袁术对他十分恭敬和守礼。后来吕布攻击袁术，袁涣前往跟随吕布，吕布要求袁涣写书辱骂刘备，袁涣拒绝，吕布因而大怒，甚至威胁要杀死袁涣；但袁涣始终面色不变，坚决不肯写，更笑着说：「我只曾听说过唯有德才可以羞辱人，未听闻过骂也可以。刘备若是君子，就不会在乎这些辱骂；若刘备是小人，则会回应，那到时被辱的就是这边了。而且将来若我为刘备效命，就像今天