2004માં કોંગ્રેસ પક્ષે વિઠ્ઠલભાઈને પોરબંદર લોકસભા બેઠક પર ટિકિટ આપી પરંતુ તેઓ હરિભાઈ પટેલ સામે હારી ગયા.