La ermita fue fundada en 1532 por Juan Pacheco como Hospital de Caridad.