揖之子陈友，桓虞对于朱晖的情义相当叹服。建初四年五月甲戌（79年7月6日）桓虞被任命为司徒。元和二年，武威郡太守孟云上书章帝，奏称匈奴指控汉室不遵和约，于边境抄掠匈奴民众，因此要求汉室归还虏获，否则将会起兵入侵。当时朝中大臣都认为夷狄狡诈，不必答允，太仆袁安则主张匈奴和亲以来，都信守和约，所得虏获都会归还，而孟云作为守边大将，亦应该信守承诺，故此应将虏获遣还匈奴，以显中原之宽大。桓虞对于袁安的说法亦表示赞同。可是当时太尉郑弘、司空第五伦都大力反对，郑弘更向桓虞大叫：「所有主张要把虏获归还匈奴的，都是不忠