是当时太尉郑弘、司空第五伦都大力反对，郑弘更向桓虞大叫：「所有主张要把虏获归还匈奴的，都是不忠之辈！」桓虞亦因而当廷喝叱郑弘、第五伦及大鸿胪韦彪等人。结果章帝决定依从袁安的建议，将虏获归还予匈奴。章和元年六月戊辰（87年7月18日）桓虞转任光禄勋，由袁安接任司徒之职。永和二年（90年），由耿秉接任光禄勋之职。