Tras sucesivas herencias, la propiedad del castillo, junto con el resto del pueblo de Javier, recayó en la Casa de Villahermosa.