2011ના વર્ષમાં પંઘલ પરિવારની ખેતીવાડીને ખૂબ નુકસાન પહોંચ્યું હતું. એ જ વખતે અજયને બોક્સિંગમાં આગળ વધવાની ઈચ્છાને પડતી મૂકી દેવી પડી હતી. એમને ઈન્ટરનેશનલ કક્ષાના બોક્સર બનવું હતું. અનિલ ધાકર જ એમના કોચ હતા, પણ પરિવારની આર્થિક પરિસ્થિતિ વણસી જતાં એમને બોક્સિંગ માટેનો પ્રેમ પડતો મૂકીને સૈન્યમાં જોડાઈ જવું પડ્યું હતું.