ત્યાર બાદ રાજપુતોના હાથમાં સત્તા આવી ત્યારે સવંત ૧૩પ૩ માં વિધર્મી અલાઉદીન ખુની રાજસ્થાન,ભીનમાલ અને જાલોર લુટી પાટણ તરફ જતા રસ્તામાં આ યાત્રાધામ પર ચઢી આવ્યો અને મંદિરમાં ઘુસી વારાહ ભગવાનની મૂર્તિને ખંડીત કરી અને વારાહ મંદિરની બાજુમાં બિરાજેલા એવા શંેશનાગ એવા ઢીમણનાગના મંદિર પર હુમલો કરી શિખર તોડવાની કોશીશ કરતાં શિખર પરથી ભમરાઓ છુટી ડંખ મારતાં વિધર્મીઓ પાટણ તરફ ભાગ્યા આજે પણ લોક કહેવત ચાલુ રહી છે ઢીમા ઢીમણનાગ ધગધુણી ઢલો કર્યો.