咸丰三年（1853年），太平军攻陷南京，淮河一带捻军大盛，安徽形势危急。巡抚周天爵檄李成虎防守临淮关，敌将张凤山在关下围攻，李成虎怒马驰入敌阵，斩杀三人，从此以英勇闻名诸军。此后率军收复重镇俞家湾，李家军之名，威震远近，李成虎获赏换花翎，升甘肃花马池参将，加副将衔。当时，给事中袁甲三淮上之军，李成虎与臧纡青并称名将。俞家湾克复之后，李成虎进军和州官渡，夺卡数十座，唯有芝蔴港、老曹庙坚守不下。咸丰五年（1855年）四月十五日，李成虎与诸路友军约定应援，亲自率领大队进军，三战三捷，抵达霸王庙，遇伏，所约援军