53年定都天京后，5月派胡以晃和赖汉英等人率领水军千余艘船只和陆军二万多人从天京沿长江西征，6月再佔安庆，6月底西征军到达江西南昌城下，久攻南昌不下，只好放弃。西征军离开南昌后，兵分两路，胡以晃指挥其中一支向安徽进军，1854年1月围歼安徽巡抚江忠源部，攻下庐州（今合肥），迫使江忠源自杀。胡以晃在1854年被封为豫王，不久因为打败仗而被撤销王爵，降为「护天豫」；1855年与石达开、秦日纲打败湘军曾国藩和湖广总督杨霈，三克武昌。1856年在江西临江（今清江）病死，他的儿子胡万胜后来当上了「幼豫