Las obras duraron desde 1857 a 1870 y terminaron con la caída del imperio francés, prosiguiendo su restauración su sobrino-nieto, el duque de Peñaranda Hernando Carlos Fitz-James Stuart y Falcó junto con el empeño del pueblo de Belmonte para conseguir su rehabilitación.