હાજીભાઈના પિતા હાસમભાઈ જેમલભાઈ દેદા અને તેમના બે ભાઈઓ અને બે બહેનો જૂનાગઢ જિલ્લામાં ગીર માધુપુરમાં માલધારી હતા. ગાય-ભેંસોના માલિક હતા. તેના પર જીવનનિર્વાહ ચાલતો હતો. હાસમભાઈ સ્વભાવે ઉગ્ર હતા. લીલીગીરમાં પશુપાલનના વ્યવસાયની અનુકૂળતાને લીધે તેઓ સારા પ્રમાણમાં દૂધાળાં ઢોર રાખીને માલઘાટનું જીવન સંતોષપૂર્વક વ્યતિત કરતા હતા. એ દરમ્યાન તેમના પરિવાર અને બીજા માલધારી વચ્ચે ઘર્ષણ થતાં સ્વમાનભેર જિંદગી જીવવા નવાબનું રાજ છોડી જામનગરમાં આવીને વસવાટ કર્યો.