સમયાંતરે આ મંદિર પર મોહમ્મદ ગઝની સહિત અનેક મુસલમાન શાશકોના આક્રમણ થયા હતાં.