Pero cuando los duques trasladaron su residencia al palacio en la misma localidad comenzó la decadencia del edifico.