司空第五伦大力反对，郑弘更说：「所有说应该送还俘虏的都是不忠！」刺激桓虞，但遭桓虞当众指责。最终汉章帝都听从袁安的意见。元和三年（86年）五月丙子，袁安升任司空。四年（87年）六月己卯升任司徒。
不畏强权.89年，章帝死，汉和帝即位，窦太后临朝，窦太后哥哥车骑将军窦宪北征匈奴，三公九卿都以匈奴没有进侵而劳师动众为由上书谏止，但上书多次都没回音，太尉宋由害怕，不再联署上书，其他官员亦不再上书，但袁安与司空任隗坚持，更多次谏争。窦宪最终都成功出征，而其他人都觉得袁安会有危机，但袁安