室归还虏获，否则将会起兵入侵。当时朝中大臣都认为夷狄狡诈，不必答允，太仆袁安则主张匈奴和亲以来，都信守和约，所得虏获都会归还，而孟云作为守边大将，亦应该信守承诺，故此应将虏获遣还匈奴，以显中原之宽大。桓虞对于袁安的说法亦表示赞同。可是当时太尉郑弘、司空第五伦都大力反对，郑弘更向桓虞大叫：「所有主张要把虏获归还匈奴的，都是不忠之辈！」桓虞亦因而当廷喝叱郑弘、第五伦及大鸿胪韦彪等人。结果章帝决定依从袁安的建议，将虏获归还予匈奴。章和元年六月戊辰（87年7月18日）桓虞转任光禄勋，由袁安接任司徒之职。永和二年