La primera ermita de San Isidro data del año 1528, y se construyó por iniciativa de Isabel de Portugal, esposa del emperador Carlos I.