અભય ચૌટાલાને ઇન્ડિયન ઓલિમ્પિક એસોસિયેશનમાં આજીવન અધ્યક્ષ બનાવાતાં રમત મંત્રી વિજય ગોયલ દ્વારા વિરોધ કરાયો છે અને નિયુક્તિ મામલે આઈઓએને કારણદર્શક નોટિસ ફટકારી છે જેને કારણે અભય ચૌટાલા પોતાનું પદ છોડવાનું જણાવ્યું છે પરંતુ આ માટે તેઓએ શરત રાખી છે કે જો ઇન્ટરનેશનલ ઓલિમ્પિક કમિટી(આઈઓસી)ને વાંધો હશે તો હું પદ છોડી દઇશ.