કાળક્રમે ગુજરાતમાં પરધર્મી રાજ્ય અને રાજકીય અંધાધુંધી (મોહમ્મદ બેગડાનો) સમયે પોતાની તથા પૂજ્ય માડીના સ્વરૂપની સહીસલામતી માટે આપણા પૂર્વજોએ કનીજથી નીકળી ગયેલા અને અન્યત્ર નિવાસ કરેલો. (આજે પણ કનીજમાં એકપણ પૌલત્સ્યનો વસવાટ નથી). ઈ.સ. ૧૨૦૦ થી ૪૦૦ વર્ષ સુધીનો કોઈ ઈતિહાસ પ્રાપ્ત નથી. ૧૬ મી સદીમાં પૂજ્ય માડી ધોળકામાં વસતા-બિરાજમાન હતા અને ૧૮ મી સદીમાં પૂજ્ય માડી વિરમગામ મુકામે બિરાજમાન હતા. તેવી આપણા વડીલો દ્વારા મળતી માહિતી મુજબ હકીકત પ્રાપ્ત થાય છે.