Pero el 10 de agosto de 1860, junto a Miramón, lo enfrenta con su caballería y son derrotados en la famosa batalla de Silao, Guanajuato, por el general Jesús González Ortega al mando del ejército conocido como constitucionalista, con lo que se inicia el declive de los conservadores.