પિતામહ હરિલાલની મૂળ અટક ગાંધી અને એ તજલવિંગના વેપારી, પણ એ મગન ભગતની ભજનમંડળીમાં જોડાયા એટલે ભગત કહેવાયા. વંશજોની અટક ભગત થઈ ગઈ. માંડ દસ વર્ષના ભગતસાહેબના પિતા નરહરિ ભગતે એકાએક ગૃહત્યાગ કરેલો. એ ક્યાં ગયા એની કોઈને જાણ નહિ. મારા પિતાનો ગૃહત્યાગ એ મારા જન્મ પછી મારા કુટુંબની અને મારા જીવનની સૌથી મોટી કરુણ ઘટના હતી… પરિવારના જેમની સાથે ગાઢ સંબંધ હતા તે કસ્તુરભાઈ લાલભાઈ (ઉદ્યોગપતિ) સાથે કોઈ કારણે નરહરિ ભગતને સંઘર્ષ થયો. બત્રીસ વર્ષની પત્ની મેનાંબહેન અને ત્રણ સંતાનોને રેઢાં મૂકીને નરહરિ ભગત ચાલ્યા ગયેલા. એ વખતે રૂપિયાની આવક નહિ અને રોકડ કે મિલકત પણ નહિ. માતા અમને ત્રણ સંતાનોને લઈને પિયરમાં હવે એલિસબ્રિજમાં એલિસ પુલના નાકે ચંદનભવનમાં આવીને વસી. એ ભવનમાં અઢાર ઓરડા હતા. નાનકડો મહેલ જ જાણે જોઈ લ્યો. અહીં માતાએ પાંચ નાના ભાઈઓ અને પાંચ ભાભીઓ સાથે જીવવાનું તથા હિન્દુ સંયુક્ત કુટુંબનું સુખદુઃખ જીરવવાનું. માતાને તેમના પિતાનું પીઠબળ અને પોતાનું આત્મબળ. તેથી એ કંઈક શક્ય થયું, કંઈક સહ્ય થયું, પણ મને હવે અહીં દસ વર્ષની વયે એકાંત અને એકલતાનો પ્રથમ અનુભવ થયો. તે એકાંત જીવવા અને એકલતા જીરવવા મેં માણેકલાલ જેઠાભાઈ પુસ્તકાલયમાં જવાનું શરૂ કરી દીધું. ત્યાં હું સતત વાંચતો ને વિચારતો, વિચારતો ને વાંચતો…