A finales del siglo XIX, el castillo estaba prácticamente en ruinas, y por iniciativa de sus propietarios, María del Carmen de Aragón-Azlor, duquesa de Villahermosa, y su marido José Manuel de Goyeneche, conde de Guaqui, se comenzaron las obras de restauración.