甲三代领其军，四年二月，入据临淮。次年擢左副都御史。和春、福济参劾袁甲三渎职，“擅裁饷银，冒销肥己”，朝廷命甲三解职回京。五年，袁甲三回京，呈诉和春、福济为诬告，朝廷令两江总督怡良秉公查办，袁甲三被申饬一事得到平反。咸丰六年（1856年）随河南巡抚英桂攻捻军，直攻到捻军的大本营雄河集，生俘捻首苏天福，捻军尸骸枕借，仅张洛行一人逃脱。以功授太仆寺卿。胜保回籍丁忧时，袁甲三被升任钦差大臣，督办安徽军务。咸丰九年（1859）二月，为胜保所劾，入京师供职。不久授漕运总督、钦差大臣。英法联军攻陷北京，袁甲三请求北上保