Sin embargo, con el transcurrir de los años y motivado por el estado ruinoso del Castillo, esta devoción y su romería fue perdiendo peso, siendo trasladado el Cristo a diversos emplazamientos de la ciudad hasta llegar al Museo Histórico Militar en 1998.