આ મંદિર પર મુસ્લીમ સંતલત કાળ દરમીયાન ઘણા આક્રમણો થયા છે, જેમા એક મુખ્ય આઝામખાને ઇ.સ. ૧૬૪૨ માં રાજકોટ મહેરામણજી ના સહયોગ થી કર્યુ હતું ,એ પછી ઇ.સ.૧૬૯૦ માં ઔરગંઝેબ દખ્ખણ મા મથક રાખી મરાઠાઓ સામે લશ્કરી ચડાઇઓ મા રોકાયેલો રહેતો, મારવાડ માં દુર્ગાદાસ રાઠોડ નો પ્રતિકાર વધતો જતો હતો અને ગુજરાત મા કાઠી દરબારો ની પાળો ધંધુકા, ધોળકા અમદાવાદ અને ઉ.ગુજરાત સુધી તેમના વિસ્તારો ને ઘમરોળવા ખેપો કરતી અને વિસ્તારો ને જીતી લેતી, આથી ઔરંગઝેબે કારતલબખાન ને ‘શુજાતખાન” નો ખિતાબ આપી ગુજરાત ની સુબેદારી અને જોધપુર ની ફૌજદાર સંયુક્ત કરવા નિર્ણય કર્યો, તે ૬ મહિના જોધપુર અને ૬ મહિના ગુજરાત રહેતો દુર્ગાદાસ રાઠોડ સાથે તેની છુટી છવાઇ લડાઇઓ ચાલ્યા કરતી, કટ્ટર ઇસ્લામ ના નામે મુર્તિપુજા ના વિરોધ સાથે અને ખંડણી ઉઘરાવવા તથા કાઠીઓના પાળો થી ત્રાસી ઇસ.૧૬૯૦ મા સુબો કરતલબ ખાન અન્ય સ્થાનીક રીયાસતો ને સાથે રાખી ને પ્રબળ આક્ર્મણ કર્યુ, સાડા ૩ દિવસ યુધ્ધ ની સતત ટક્કર આપી કાઠી દરબારો એ મુર્તિ સલામત સ્થળે ખસેડી લિધી અને જય સૂરજ નારાયણ ના નાદ સાથે કેસરીયા કર્યા પણ તેમની આખરે હાર થઇ અને મંદિર ને પણ ઘણુ નુકસાન થયુ, તેની યાદ માં કાઠી દરબારો વૈશાખ સુદ-૧ થી ગણેશ ચોથ સુધી ઉપવાસ કરે છે.