Alfonso Felipe de Gurrea y Aragón, inició la ampliación del edificio y la concluyó su hijo Martín de Gurrea y Aragón, cuarto duque de Villahermosa, en el siglo XVI.