Fue Claudio Sanz y Torres, obispo de la diócesis de Almería, quien lo mandó construir en el año 1769 para albergar la legendaria imagen de la Virgen, dotándolo de carácter conventual.