પોતાના રાજકીય સંગાથી શંકરસિંહ વાઘેલાને ભાજપ સાથે વાંકુ પડતા ખજુરાહો કાંડ બાદ વિઠ્ઠલભાઇ પણ બાપુના હમરાહી બન્યા અને ભાજપ સાથે છેડો ફાડી અને રાજપાના સ્થાપક સભ્યો પૈકી એક બન્યા ત્યારબાદ રાજપાનો કોંગ્રેસમાં વિલય થતાં તેઓ પણ કોંગ્રેસમાં જોડાયા.