En 1523 visitó el santuario el duque de Segorbe y planeó construirse allí un palacio que finalmente quedó inacabado.