શારદાબેને મત ગણતરી સ્થળ છોડ્યું, કોંગ્રેસના એ. જે. પટેલ બેસી રહ્યા