Se tiene constancia de que al menos en el siglo XV ya existía una ermita dedicada a la Virgen de Mont Olivet (traducido al español, "monte olivito").