La razón por la cual la ermita es llamada de la Soledad hay que encontrarla en las celebraciones de Semana Santa en la ciudad, puesto que durante éstos días la Virgen salía siempre la tarde del Viernes Santo o de la Cruz -y sigue haciéndolo en la actualidad- desprovista de su Hijo; portando en sus manos las cuentas de un rosario y una corona de espinas únicamente, representado así la Soledad de la Virgen.