જણાવવામાં આવી રહેલ છે કે ખડેશ્વરી બાબાએ પોતાનાં ગુરૂ દૂધેશ્વર મહાદેવ મંદિરનાં મહંત સ્વામિનારાયણ ગિરીની સામે આ સંકલ્પ કર્યો હતો કે જ્યાં સુધી રામ મંદિર નહીં બને ત્યાં સુધી તે એક પગ ઉપર જ ઉભા રહેશે.