María habría mandado construir una pequeña capilla para guardar la columna, edificándose posteriormente una iglesia románica, luego una mudéjar, que fue destruida por un incendio, siguiéndole una iglesia gótica, precursora de la actual de estilo barroco debida a Francisco de Herrera, por iniciativa de don Juan José de Austria, que ordenó el comienzo de las obras en 1681.