પિતાની મૃત્યુ બાદ સ્વામીજીના પરિવારે અતિશય ગરીબીમાં જીવન વિતાવ્યું. ધણીવાર સ્વામીજી બે બે દિવસ ભૂખ્યા રહેતા કે જેથી કરીને તેમનો પરિવાર તો ખાવાનું ખાઇ શકે.