Qvams kompromissløshet førte nok til at han alltid ble Venstres andremann, først under Johan Sverdrup, så under Johannes Steen og Otto Blehr. I debatter kunne han være «brutal», ifølge motstandere i Høyre. Privat avreagerte han gjennom musikken og skrev flere komposisjoner.