早期任尚书仆射，能够依法断事，细密公正，后来担任南阳郡太守。桓虞曾征召前临淮郡太守朱晖之子朱骈为郡吏，但朱晖却宁愿放弃自己儿子的仕途，而推荐亡友陈揖之子陈友，桓虞对于朱晖的情义相当叹服。建初四年五月甲戌（79年7月6日）桓虞被任命为司徒。元和二年，武威郡太守孟云上书章帝，奏称匈奴指控汉室不遵和约，于边境抄掠匈奴民众，因此要求汉室归还虏获，否则将会起兵入侵。当时朝中大臣都认为夷狄狡诈，不必答允，太仆袁安则主张匈奴和亲以来，都信守和约，所得虏获都会归还，而孟云作为守边大将，亦应该信守承诺，故此应将虏获遣还匈