પણ જેમ જેમ સિદ્ધારમૈયા કોંગ્રેસમાં મજબુત થતા ગયા તેમ તેમ વિશ્વનાથની અવગણના થતી ગઈ.