એપ્રિલ ૧૯૦૬માં જયારે શાસ્ત્રીજી દોઢ વર્ષનાં પણ નહોતાં થયાં ત્યારે એમનાં પિતાજી પ્લેગ રોગમાંમૃત્યુ પામ્યાં. રામદુલારીદેવી એ વખતે માત્ર ૨૩ વર્ષની હતી અને ગર્ભવતી હતી !!!! હવે તો એ પોતાનાં બંને બાળકોને લઈને રામનગરથી મુગલસરાઈ આવીને રહેવાં લાગી હતી. જુલાઈ ૧૯૦૬માં રામદુલારી દેવીએ ત્રીજું સંતાન સુંદરીદેવી નામની પુત્રીને જન્મ આપ્યો. હવે શાસ્ત્રીજી અને પોતાની બે બહેનો પોતાના નનિહાલમાં ભણી રહ્યાં હતાં. ત્યારે ૧૯૦૮માં હજારીલાલનું પણ હૃદયાઘાતનાં કારણે મૃત્યુ થઇ ગયું. જેનાથી ઘરનું સારું કામ શાસ્ત્રીજીના મોટાં મામા દર્બારીલાલ પર આવી પડ્યું જે એ વખતે ઘાઝીપુરમાં કલાર્ક હતાં.