આઈ. કે. જાડેજા કહે છે કે ”વિઠ્ઠલભાઈ નાના માણસોના પ્રશ્નો ઝડપથી હાલ થાય એ માટે તત્પર રહેતા હતા અને પછી ખજુરિયાકાંડ થયો એમાં એ શંકરસિંહ સાથે ગયા અને એ રીતે એમણે ભાજપ છોડ્યું.