Qvam var justisminister i Johannes Steens første regjering fra 6. mars 1891 til 1. mai 1893, og senere også justisminister i Johannes Steens andre regjering fra 17. februar 1898 til april 1899. Han var deretter indreminister fra 28. april 1899 til 24. mars 1900. Han var også revisjonsminister fra 29. februar til 3. november 1900, samtidig som han ledet det nyopprettede Landbruksdepartementet fra 1. april til 6. november. Han ble så justisminister for tredje gang fra denne dato og til regjeringens avgang 21. april 1902. Qvam nådde toppen av sin politiske karriere da han samme dato ble statsminister i Stockholm i Otto Blehrs første regjering. Qvam måtte sammen med resten av denne regjeringen gå av 22. oktober 1903. Han døde hjemme på Egge 8. juli 1904. Han fikk derfor aldri oppleve unionsoppløsningen.