ઈતિહાસમાં આ શિવાલય પર અનેક વિધર્મીઓ દ્વારા આક્રમણો થયા અને આ મંદિરનું ખંડન થયું, ત્યારે ભારતના લોખંડી પુરૂષ સરદાર વલ્લભભાઈ પટેલે 13, નવેમ્બર, 1947ના રોજ મંદિરનું પુનઃનિર્માણ કરવાની પ્રતિજ્ઞા કરી.