La Hermandad ha sufrido los avatares históricos de nuestra ciudad, desde la invasión francesa, la desamortización de los bienes eclesiásticos, las revoluciones e inestabilidades de la segunda mitad del siglo XIX, y los enfrentamientos civiles de la década de los años 30 del siglo XX, que culminaron con la quema de la Iglesia de Santiago Apóstol y de la imagen, y mayoría de enseres de Nuestra Señora de los Dolores, exceptuando la diadema, el manto y el Niño Jesús, efigie de escuela salcillesa que actualmente la acompaña a sus pies, que se salvaron.