હરિયાણાના રોહતક જિલ્લાના મૈના નામના ગામમાં જન્મેલા અમિતના પિતા વિજેન્દર સિંહ એક ગરીબ કિસાન છે. પોતાની એક એકર જમીન પર એ ઘઉં, બાજરીની ખેતી કરે છે. પરિવારની આર્થિક પરિસ્થિતિ સારી ન હોવાને કારણે જ અજયને પણ એની બોક્સિંગ કારકિર્દીને રામ-રામ કરી દેવા પડ્યા હતા. એ પણ ભારતીય લશ્કરમાં સેવા બજાવે છે.