એ મંદિર પછીના હજ્જારો વર્ષોમાં કેટલીય વાર આક્રમણકારીઓ દ્વારા તોડી પાડવામાં આવ્યુ અને એટલી જ વાર ફરીથી બાંધવામાં આવ્યુ.