久攻南昌不下，只好放弃。西征军离开南昌后，兵分两路，胡以晃指挥其中一支向安徽进军，1854年1月围歼安徽巡抚江忠源部，攻下庐州（今合肥），迫使江忠源自杀。胡以晃在1854年被封为豫王，不久因为打败仗而被撤销王爵，降为「护天豫」；1855年与石达开、秦日纲打败湘军曾国藩和湖广总督杨霈，三克武昌。1856年在江西临江（今清江）病死，他的儿子胡万胜后来当上了「幼豫王」。