પરંતુ મુસ્લિમ આક્રમકોના વારંવાર હુમલાઓને લીધે મંદિરને ભારે નુકસાન પહોંચ્યું હતું જેને લીધે મંદિર ખંડિત અવસ્થામાં જોવા મળે છે.