ગઝનીનો મહેમૂદ, અલ્લાઉદ્દીન ખીલજી, મહંમદ બેગડો, મુઝફ્ફરશાહ બીજો, અહેમદશાહ પહેલો અને ઔરંગઝેબ સહિત અનેક આતતાયીઓએ મંદિરની સમૃધ્ધિ પર દાનત બગાડીને લૂંટ ચલાવી હતી.