La construcción del palacio se demoró por diversas causas y finalmente, tras un lapso de cuatro décadas, fue Jacobo Francisco Fitz-James Stuart y Colón de Portugal, III duque de Liria, quien lo impulsó y terminó gracias a las cuantiosas rentas que percibía por el ducado de Veragua.