ઉલ્લેખનીય છે કે તેમના નોકરે તેમની પર શારીરિક શોષણનો આરોપ લગાવ્યો હતો. પોતાના મંત્રી પર લાગેલા આવા ઘૃણાસ્પદ આરોપ બાદ શિવરાજ સરકારે તેમની પાસેથી તેમનો હોદ્દો છીનવી લીધો છે. મંત્રી પર લાગેલા સેક્સ સ્કેન્ડલના આરોપ બાદ બીજેપી સરકારની મુસીબત વધારી દીધી છે. જ્યારે કોંગ્રેસ સરકાર આ મુદ્દાને લઇને પોતાના લાભ ખાટવામાં લાગી છે. વિરોધીઓએ આને લઇને હુમલો કરવાનું ચાલુ કરી દીધું છે. વિરોધીઓના વધતા હુમલાને પગલે બીજેપીએ રાઘવજીને સસ્પેન્ડ કરવાનું યોગ્ય સમજ્યું હતું. જ્યારે ફરિયાદના આધારે પોલીસે આજે તેમની ધરપકડ કરી લીધી છે.