ખડસે રાજ્યમંત્રીમંડળમાં ઘણા મહત્વપુર્ણ વિભાગો સંભાળી રહ્યા હતા. ખડસે પર ઘણા આરોપ લાગ્યા છે. જેમાં જમીન કૌભાંડથી માંડી અને પાકિસ્તાનનાં રહી રહેલા ભાગેડુ અંડરવર્લ્ડ ડોન દાઉદ ઇબ્રાહિમનાં લેન્ડ લાઇન નંબર પરથી તેનાં પર કથિત રીતે ફોન આવવાનાં આરોપોનો સમાવેશ થાય છે. ઘણા બધા આરોપોથી ઘેરાયેલા ખડસેએ અંતે હાઇકમાન્ડનાં દબાણનાં કારણે રાજીનામું આપવું પડ્યું હતું. જો કે તેનાં નવા દાવાનાં કારણે ઘણા સવાલો પેદા થયા છે.