ઈ.સ. ૧૯૫૬માં વુલનમિલમાં નોકરી મળી. આ ગાળા દરમ્યાન હાજીભાઈના સસરા અને સાળાનાં તલાલાગીરમાં મૃત્યુ થયાં, આથી હાજીભાઈએ ત્યાં જવું પડ્યું. હાજીભાઈના નાના ઈબ્રાહીમ સુલેમાન કે જેઓ હવાબહેનના દાદા થાય, તેમણે પોતાની તમામ માલ-મિલકત, પોતાની જમીન બધું જ હાજીભાઈ તથા હવાબહેનનાં નામ કરી આપ્યું. આથી તલાલાગીરમાં રહેવાની ફરજ પડી. ત્યાં ખેતી સંભાળવાનું શરૂ કર્યું, પરંતુ આ કામદારોના ઉત્થાન માટે કંઈક કરી છૂટવાની ભાવના માટે હાજીભાઈ જામનગર પરત આવ્યા. વુલનમિલની નોકરી ગુમાવી, પણ ઈ.સ. ૧૯૫૭માં બ્રુક બોન્ડ ઇન્ડિયામાં નોકરીમાં જોડાયા. ત્રણ મહિના બાદ કાયમી થયા. કામદાર યુનિયનની ચૂંટણી થતાં બ્રુક બોન્ડ કામદાર યુનિયનના વર્કિંગ પ્રેસિડેન્ટ તરીકે ચૂંટાઈ આવ્યા. આથી તેઓ બ્રુક બોન્ડ કામદારના હિતો માટે ઘણી જ પ્રવૃત્તિઓ કરતા રહ્યા.