ઘનશ્યામનગર મંદિરે મૂર્તિપ્રતિષ્ઠા થયા પછી ગુરુવર્ય પ.પૂ.બાપજી ક્યારેક ત્યાં રહેતા હતા. તો બહુધા મોટા મંદિરે એમના આસને જ રહેતા હતા. કેમ કે શહેરના હરિભક્તોનો સમાજ એમના સમાગમના અંગવાળો હતો તેથી તેઓ ત્યાં રહેતા. દર અઠવાડિયે અથવા સભા પ્રસંગે પધરામણી, મહાપૂજા પ્રસંગે અવાર-નવાર ઘનશ્યામનગર મંદિરે તેઓ આવતા રહેતા. એ વખતે વાહનોની મુશ્કેલી એટલે તેઓને પગપાળા ચાલીને આવવું પડતું. પૈસાને અડતા નહિ, રાખતા નહિ કે રખાવતા પણ નહીં. તેથી રિક્ષામાં આવવું પણ મુશ્કેલ બનતું. જો કોઈ હરિભક્ત રિક્ષામાં સાથે હોય તો રિક્ષા ભાડે કરી આપતા. એવી રીતે એમના ઘનશ્યામનગર મંદિરમાં એમની આવન-જાવન ચાલુ રહેતી. ધીરે ધીરે હરિભક્તોનો સમાજ ખૂબ વધી ગયો ને બળિયો પણ ખૂબ થઈ ગયો, જે અન્ય વિઘ્નસંતોષીઓથી સહ્યું ન ગયું. તેથી આ બધું રોકવાના પ્રયત્નો ચાલ્યા ને એમાંય તેઓની કાનભંભેરણી તો ચાલુ જ હતી. અંતે એવો સમય આવ્યો કે ગુરુવર્ય પ.પૂ.બાપજીને બળજબરીથી ત્યાગાશ્રમ છોડાવવાનો પ્રયત્ન થવાનો છે - આવી હિલચાલની ગંધ હરિભક્તોને આવી ગઈ. એટલે તેમણે ગુરુવર્ય પ.પૂ.બાપજીને કહ્યું કે તમારે હવે મોટા મંદિરે રહેવું હિતાવહ નથી. ત્યાર પછી ઘનશ્યામનગર મંદિરે જ તેઓ રહેવા લાગ્યા ને એમના દાખડે સત્સંગની મહેક ચોમેર પ્રસરવા લાગી.