સ્પીકર તરીકે પ્રારંભથી જ એમની નોંધપાત્ર વિશિષ્ટતા એ હતી કે આ પદનું ગૌરવ, ગરિમા અને તટસ્થતાનો ધર્મ જળવાઈ રહે તે માટે વિઠ્ઠલભાઈએ પોતાના સ્વરાજ્ય પક્ષમાંથી રાજીનામું આપી નિષ્પક્ષ બની ગયા.