કહેવાય છે કે ઈ. 1235 માં ઈલ્તુત્મિશ દ્વારા આ પ્રાચીન મંદિરનો ધ્વંસ કરી દેવાયો, પણ ત્યાર બાદ ત્યાં જેટલા શાસકો રહ્યા, તેમણે આ મંદિરમાં જીર્ણોદ્ધાર અને સૌંદર્યીકરણ પર વધુ ધ્યાન આપ્યુ.