આ મંદિર પર અનેક આક્રમણો થયા છે, મુસ્લીમ સંતલત ના અમલ દરમીયાન કાઠી દરબારો ની પાળો ધંધુકા, ધોળકા અમદાવાદ અને ઉ.ગુજરાત સુધી તેમના વિસ્તારો ને ઘમરોળવા ખેપો કરતી, એવા માં ઇસ.૧૬૯૦ મા સુબો કરતલબ ખાન અન્ય સ્થાનીક રીયાસતો ને સાથે રાખી ને પ્રબળ આક્ર્મણ કર્યુ, સાડા ૩ દિવસ યુધ્ધ ની સતત ટક્કર આપી, કાઠીઓ એ મુર્તિ સલામત સ્થળે ખસેડી લિધી અને જય સૂરજ નારાયણ ના નાદ સાથે કેસરીયા કર્યા, પણ આખરે હાર થઇ અને મંદિર ને પણ ઘણુ નુકસાન થયુ, તેની યાદ માં કાઠી દરબારો વૈશાખ સુદ-૧ થી ગણેશ ચોથ સુધી નકોરડા ઉપવાસ કરે છે.