આઈ. કે. જાડેજા કહે છે કે ''વિઠ્ઠલભાઈ નાના માણસોના પ્રશ્નો ઝડપથી હલ થાય એ માટે તત્પર રહેતા હતા અને પછી ખજૂરિયાકાંડ થયો એમાં એ શંકરસિંહ સાથે ગયા અને એ રીતે એમણે ભાજપ છોડ્યું.