કાળાંતરે અનેક સમ્રાટો, મહારાજ ભોજ, રાજા ભીમે, રાજા મહીપાલે શિવમંદિર બનાવ્યું અને ગજનીના મહંમદે, અલાઉદ્દીન ખીલજી, મહંમદ બેગડો, મોગલશાહ ઔરંગઝેબે ધર્મની અસહીષ્ણુતાથી રત્નો અને સંપત્તિયુક્ત મંદિરો તોડીને લુંટ્યા છે.