ઐતિહાસિક સમયમાં, ચોક્કસ રીતે કહીએ તો ત્રીજી વાર બાંધવામાં આવેલા મંદિરને ગઝનીના  સુલતાન મોહમ્મદ ગઝનીએ ક્રોધાવેશમાં આવીને મંદિરને ધરાશાયી કરી નાખ્યું હતું.