Su ascendiente en la corte de la joven reina, con quien mantuvo relaciones sentimentales y de la que recibió numerosos favores —por ello era conocido como "El General Bonito—", estuvo a punto de provocar una crisis institucional, resuelta en 1848, tras la vuelta de Narváez, cuando el gobierno de Joaquín Francisco Pacheco reconcilió a la reina con su esposo y desplazó a Serrano, designándolo capitán general de Granada, cargo que este solo ocupó unos meses, retirándose posteriormente de la vida pública durante varios años.