એક સમય એવો પણ હતો જયારે મોગલોના સાશન કાળ દરમિયાન આ મંદિરને ઘણી જ રીતે નુકશાન પહોંચાડવામાં પણ આવ્યું હતું.