ઘરના નોકર રાજકુમાર દાંગી સાથે અપ્રાકૃતિક કૃત્ય કરવાના આરોપમાં રાઘવજીએ પહેલા તો પોતાના મંત્રી પદેથી રાજીનામુ આપવું પડ્યું હતું.