અમિતના ભાઈ અજય પાંઘલે કહ્યું કે, અમે આર્થિક તંગી અને સંઘર્ષના એવા પણ દિવસો જોયા છે. જ્યારે અમિત પાસે બોક્સિંગ ગ્લોવ્સ ખરીદવા માટે પણ પૈસા નહોતા પણ તેમ છતા તે પોતાની ટ્રેનિંગ ગ્લવ્સ પહેર્યા વગર પણ કરતો હતો. હરિયાણાના રોહતક જિલ્લાના મેના ગામના રહેવાસી અમિતના પિતા વિજેન્દર સિંહ એક સામાન્ય ખેડૂત છે. જે પોતાની એક એકર જમીન પર ઘઉં અને બાજરાની ખેતી કરે છે. પરિવારની આર્થિક સ્થિતિ ક્યારેય સારી નથી રહી. જેના કારણે અમિતના મોટાભાઈ અજયે બોક્સિંગ છોડી દેવી પડી હતી આજે અજય સેનામાં નોકરી કરે છે.