ઉત્તરના પહાડોની એકદમ ફેરફારવાળી આબોહવા પોતાની નાજુક પ્રકૃતિને અનુકૂળ નથી એ સ્વામીજી સમજી ગયા. વળી કેવળ તપ માટે પરમાત્મા પોતાને ગુફાવાસ પણ કરવા દેવા ચાહતા નથી તેની એમને ખાતરી થઈ. એમણે કહ્યું: ‘હું સાધના કરવા બેસું છું તેવા જ ઠાકુર મારા માર્ગમાં કોઈ અડચણ ઊભી કરી દે છે. હવે હું એકલો નીકળી પડીશ. ક્યાં જઉં છું ને ક્યાં વસું છું તે કોઈને નહિ કહું.’