સ્વામી ‘બચપણનાં બાર વર્ષ’ નામના સંભારણાંમાં માહિતી આપે છે કે સ્વમાની માતા તેમના પિતાથી છૂટાં પડીને બહેનની સાથે ગિરગામના લત્તામાં મોરારજી ગોકળદાસના શ્રેષ્ઠી પરિવારની નોકરીમાં રહ્યાં.