સ્વામીશ્રીનો જન્મ ખોલડિયાદ ગામે રહેતા ગુર્જર સુતાર જ્ઞાતિના ‘‘હંસરાજભાઈ’’ ને ઘેર થયો હતો. બાળપણનું નામ ‘વીરજી’ હતું. સત્સંગનો રંગ પરિવારના અંગ-અંગમાં વ્યાપી ગયો. ઋષિ મુનિના આશ્રમ જેવા પવિત્ર ગૃહસ્થાશ્રમના ભક્તિમય સંસ્કારોની વીરજીના જીવનમાં ઊંડી અસર થઈ. યુવાનીના ઉંબરે પહોંચેલા વીરજીએ માતા પાસે કન્યા વરવાની નહીં પણ હરિવરને વરીને અમરત્વના પંથે પ્રયાણ માટેની માંગણી કરી. માતાએ ધ્રુવજનની નીઝાંખી કરાવી; પુત્રને પરમેશ્વરના પંથે પ્રયાણ કરવાની પ્રેરણા આપી, પણ પિતા હંસરાજ સ્વયં ગૃહત્યાગ કરવા તત્પર હોય પુત્રને બહુ સમજાવ્યો.