同年，赴安徽帮办团练，受漕运总督周天爵重用，不久，周天爵病死行军途中之王市集，甲三代领其军，四年二月，入据临淮。次年擢左副都御史。和春、福济参劾袁甲三渎职，“擅裁饷银，冒销肥己”，朝廷命甲三解职回京。五年，袁甲三回京，呈诉和春、福济为诬告，朝廷令两江总督怡良秉公查办，袁甲三被申饬一事得到平反。咸丰六年（1856年）随河南巡抚英桂攻捻军，直攻到捻军的大本营雄河集，生俘捻首苏天福，捻军尸骸枕借，仅张洛行一人逃脱。以功授太仆寺卿。胜保回籍丁忧时，袁甲三被升任钦差大臣，督办安徽军务。咸丰九年（1859）二月，为胜保