ગઝમૅનના પિતા ગરીબ ખેડૂત હતા, પરંતુ તેની લાઇફ-સ્ટોરીનો અભ્યાસ કરનારા કહે છે કે એ લોકો અફીણની ખેતી કરતા. બે નાની બહેનો અને ચાર નાના ભાઈઓમાં સૌથી મોટા ગઝમૅનના ત્રણ મોટા ભાઈ પણ હતા, પરંતુ તે કોઈક ભેદી બીમારીને કારણે નાનપણમાં જ મૃત્યુ પામેલા. માથાભારે પિતા છાશવારે સંતાનોને મેલાં કપડાંની જેમ કૂટતા રહેતા. પરંતુ એવો જ માથાભારે ગઝમૅન પિતાની સામે નાનાં ભાઈ-બહેનોની ઢાલ બનીને ઊભો રહેતો. આ માથાકૂટથી ત્રાસીને તે કેટલીયે વાર દાદા-દાદીને ત્યાં ભાગી જતો. ગઝમૅન ત્રીજા ધોરણથી જ સ્કૂલ છોડી દઈને નારંગી વેચવાથી લઈને પિતાની ખેતીમાં જોતરાઈ ગયેલો. ટીનેજર થયો એટલે પિતાએ લાત મારીને તેને ઘરમાંથી કાઢી મૂક્યો અને ગઝમૅન ફાઇનલી દાદા-દાદીને ત્યાં જ જતો રહ્યો.